Kontrol Grubu Pazarlaması: Sadakat Programının ROI'sini Ölçme
Kontrol grubu olmayan her hafta, belki de zaten gelecek müşterilere ödül dağıtıyorsunuz – bunu fark etmeden.
Pazarlamada kontrol grubu, sadakat programının gerçekten gelir getirip getirmediğini öğrenmenin tek dürüst yoludur. Onsuz, sadık müşteriler mi kazanıyorsunuz yoksa zaten gelecek insanlara ücretsiz kahve mi dağıtıyorsunuz bilmezsiniz. İlke tıptan geliyor, ama istatistik dersi almadan çalışır. Bu makale, kontrol grubunun ne olduğunu, neden alışılagelmiş öncesi-sonrası karşılaştırması sizi aldattığını ve stampa'nın kartınızın ROI'sini bununla nasıl ölçtüğünü açıklar.
Kısa Cevap
Kontrol grubu, müşterilerinizin rastgele seçilmiş küçük bir grubudur. Stempel kartı ve kampanyaları kasıtlı olarak almaz. Sonra bu grubun ne sıklıkla geri geldiğini, kartı olan büyük grupla karşılaştırırsınız. Fark, programınızın gerçek etkisidir. Her iki grup da diğer her şeyi birlikte yaşar: aynı hava, aynı mevsim, kapının önündeki aynı inşaat.
Neden Öncesi-Sonrası Sizi Aldatır
Açık yol, karşılaştırmadır: Kart öncesi ay geliri, kart sonrası ay geliri. Sorun: Bu aylar arasında sadece kart değişmedi.
Kartı Mart'ta başlattığını hayal et. Nisan'da gelir yüzde 12 daha yüksek. Kart mıydı? Yoksa ilk sıcak hafta sonu mu? Mart'ta sokağı kapatan inşaat? Nisan'da açılan yeni ofis kompleksi? Bilemezsin.
Tersi: Kartı Ekim'de başlatıyorsun. Kasım'da gelir yüzde 5 daha düşük. Kart zarar mı verdi? Muhtemelen hayır. Kasım birçok sektörde zaten daha zayıf. Belki kart olmadan yüzde 10 daha zayıf olurdu. Bunu da bilemezsin.
Öncesi-sonrası karşılaştırması, ölçünün etkisini başka her şeyle karıştırır. Ölçüm değil, tahmin budur.
Kontrol Grubu Bunu Nasıl Çözer
Fikir basit: İki zaman dilimini karşılaştırmak yerine, aynı zaman diliminde iki grubu karşılaştırırsın.
- Grup A (çoğunluk): Stempel kartı, push bildirimleri, kampanyaları alır.
- Grup B (kontrol grubu): Hiçbirini almaz. Normal alışveriş yapar, ama aynı şekilde sayılır.
Her iki grup da aynı Nisan'ı, aynı havayı ve aynı inşaatı yaşar. Grup A, Nisan'da Grup B'den daha sık geri gelirse, bu havadan değildir. Grup B'nin de havası vardı. Karttan geliyor.
Kritik sözcük rastgeledir. Kontrol grubu, kart istemeyen müşterilerden oluşamaz. Onlar belki genel olarak daha az ilgili. Rastgele çekilmeli, böylece her iki grup ortalama olarak eşit olur: aynı sayıda sadık müşteri, aynı sayıda ara sıra müşteri, aynı yaş dağılımı.
Kendi Testini Yap: Dürüst Ölçüyor musun?
- Kartının kaç ek ziyaret getirdiğini tam olarak biliyor musun?
- Gelir artışının havadan kaynaklanmadığını dışlayabiliyor musun?
- Kart almayan bir müşteri grubun var mı?
- Bu grup ilgiye göre değil, rastgele seçiliyor mu?
- ROI sonucunu yeterli veri olana kadar bekliyor musun?
İkiden fazla soruya hayır cevabı verdiysen, muhtemelen kartının gerçekten ne getirdiğini ölçmüyorsün.
stampa Kontrol Grubuyla ROI'yi Nasıl Ölçer
Tam bu ilke, stampa'nın ROI ölçümünde gizlidir. Şöyle işler:
- Rastgele seçim. QR kodunu taran müşterilerin yaklaşık yüzde on'u, rastgele kontrol grubuna atanır. Kart ve kampanya almaz. Müşteri bunu fark etmez.
- Her iki grup sayılır. Geri dönüş, kart olsun olmasın herkeste kaydedilir.
- Geri dönüş karşılaştırması. Birkaç hafta sonra karşılaştırılır: Kart grubu ne sıklıkla geri gelir, kontrol grubu ne sıklıkla? Fark, kartın getirdiği ek ziyaretlerdir.
- Euro'ya dönüştürme. Ek ziyaretler çarpı ortalama fişin tutarı, ek geliri verir. Pano X ek ziyaret, yaklaşık Y Euro gösterir.
- Sadece güvenilir olduğunda. Sonuç, fark istatistiksel olarak güvenilir olduğunda gösterilir. Yeterli müşteri ve hafta toplanana kadar, stampa dürüstçe söyler: Güvenilir sonuç için henüz yeterli veri yok.
Son nokta önemlidir. Birçok araç birinci günden itibaren bir ROI numarası gösterir. Yirmi müşteri ile saf tesadüftür. Dürüst ölçüm, emin olana kadar bekler.
İstatistiksel Olarak Anlamlı, Teknik Terimler Olmadan
Bir parayı on kez atıp yedi kez yazı geldiğini hayal et. Para hileli mi? Muhtemelen hayır. Yedi on, adil bir para ile düzenli olur. Bin kez atıp yedi yüz kez yazı gelirse, para neredeyse kesin hileli.
Kontrol grubu tam böyledir. Yirmi müşteri kartla ortalama 2,1 kez geri gelir, üç müşteri kart olmadan 1,8 kez gelirse, bu hiçbir şey söylemez. Bu kadar küçük sayılarla, tatilde olan tek bir müşteri sonucu değiştirebilir. Beş yüz müşteri kartla 2,1 kez gelir, 55 müşteri kart olmadan 1,8 kez gelirse, fark gerçek bir sonuçtur.
İstatistiksel olarak anlamlı veya belirtken: Fark o kadar büyük ve gruplar o kadar büyük ki, tesadüf açıklama olarak çok olası değildir. Ne kadar sürdüğü, müşteri sayına bağlıdır. Haftada yüz kart alan bir kafe birkaç hafta sonra oraya ulaşır. Haftada on yeni müşteri alan bir tırnak salonu aylar gerektirir.
Bir Hesaplama Örneği
Altı yüz aktif müşterisi olan bir kafe. Beş yüz kırk kartı var, altmış kontrol grubunda.
| Kart Grubu | Kontrol Grubu | |
|---|---|---|
| Müşteriler | 540 | 60 |
| 8 Hafta Başına Müşteri Başına Ziyaret | 5,4 | 4,5 |
| Müşteri Başına Fark | 0,9 Ziyaret | |
| Toplam Ek Ziyaret | 540 × 0,9 = 486 | |
| 6 Euro Ortalama Fiş | yaklaşık 2.900 Euro |
Kart sekiz haftada yaklaşık 486 ek ziyaret, yaklaşık 2.900 Euro gelir getirdi. Bundan kullanılan ödüller çıkarılır, diyelim 100 ücretsiz kahve 80 sent mal değeri, yani 80 Euro. Net olarak kart olmadan olmayacak yaklaşık 2.800 Euro kalır.
Kontrol grubu olmadan bu numarayı almazdın. Gelirin arttığını görürdün, ama karttan mı yoksa bahardan mı olduğunu bilemezdin.
Ölçümün Fiyatı
Kontrol grubu bir şeye mal olur: Müşterilerinizin yüzde on'u kartı almaz. Kart işe yarıyorsa, bu yüzden biraz daha az gelirler. Yukarıdaki örnekte bu 60 müşteri çarpı 0,9 ziyaret çarpı 6 Euro, sekiz haftada yaklaşık 320 Euro.
Bunun karşılığında kesinlik alırsın. Ödülün değip değmediğini bilirsin. Push kampanyalarının bir şey getirip getirmediğini. Stempel sayısı değişikliğinin işe yarayıp yaramadığını. Bu kesinliği olmayan, yıllarca ödül verir, işe yarayıp yaramadığını bilmez. Bu neredeyse her zaman kontrol grubundan daha pahalıya mal olur.
Hiçbir Şey Değiştirmezsen Ne Olur
Kontrol grubu olmadan kör uçarsın. Gelirin dalgalandığını görürsün, ama neden bilmezsin. Ödülü 10'dan 8 stempel'e değiştirirsin, gelir artar. Değişiklik miydi? Yoksa yaz mevsimi mi? Bilmezsin. Yani geri değiştirirsin. Belki gelir düşer. Geri değişiklik miydi? Yoksa sonbahar mı? Yine bilmezsin.
Sonuç: Ne yaptığını bilmeden düğmeleri çevirirsin. Ne getirdiğini bilmeden ödül verirsin. Ve her hafta, hangi kampanyanın geri getireceğini bilmediğin için sadık müşteriler kaybedersin.
İlkeyi Başka Neler İçin Kullanabilirsin
Kontrol grubu, dürüst her ölçümün temeli. Aynı ilke A/B testinin arkasında gizlidir (iki kampanya varyantı karşı karşıya çalışır). Push bildirimleri veya ödülleri bununla nasıl karşılaştıracağını, Küçük Dükkan'da A/B Test makalesinde açıklanır. ROI'nin yanında hangi metrikleri göz önünde tutman gerektiği, Sadakat Programını Ölçme: 7 Metrik yazısında yer alır.
Sonuç
Kontrol grubu, rastgele çekilen küçük bir müşteri grubu, sadakat programını almaz. Davranışları, kart olmadan ne olacağını gösterir. Kart grubuyla aradaki fark, gerçek etkidir. Bu, hava, mevsim ve tesadüfü hesaba katan tek ölçümdür. stampa bunu dahil eder, her iki grubun geri dönüşünü karşılaştırır ve sonuç güvenilir olduğunda gösterir. Beş dakikada ücretsiz başlayabilirsin ve ölçümü başından itibaren takip edebilirsin – yüz aktif müşteriye kadar kredi kartı olmadan, risksiz.