Grupa kontrolna w marketingu: Jak mierzyć ROI programu lojalnościowego
Każdy tydzień bez grupy kontrolnej możesz marnować nagrody dla klientów, którzy i tak by przyszli – bez tego, aby się o tym dowiedzieć.
Grupa kontrolna w marketingu to jedyny uczciwy sposób, aby dowiedzieć się, czy Twój program lojalnościowy naprawdę przynosi przychód. Bez niej nie wiesz, czy zyskujesz stałych klientów, czy tylko rozdajesz darmową kawę osobom, które i tak by przyszły. Zasada pochodzi z medycyny, ale działa bez studiów statystyki. Ten artykuł wyjaśnia, czym jest grupa kontrolna, dlaczego zwykłe porównanie przed i po Cię myli i jak stampa mierzy ROI Twojej karty.
Krótka odpowiedź
Grupa kontrolna to losowo wybrana mała grupa Twoich klientów. Celowo nie otrzymuje karty stemplowej ani promocji. Następnie porównujesz, jak często ta grupa wraca, z dużą grupą, która ma kartę. Różnica to rzeczywisty efekt Twojego programu. Obie grupy doświadczają wszystkiego innego razem: tej samej pogody, tego samego sezonu, tego samego remontu przed drzwiami.
Dlaczego porównanie przed i po Cię myli
Oczywisty sposób to porównanie: przychód w miesiącu przed kartą versus przychód w miesiącu po. Problem: między tymi miesiącami zmieniło się wiele więcej niż tylko karta.
Wyobraź sobie, że wprowadzasz kartę w marcu. W kwietniu przychód jest o 12 procent wyższy. Czy to była karta? Czy pierwszy ciepły weekend? Remont, który w marcu zamknął ulicę? Nowy kompleks biurowy, który otworzył się w kwietniu? Nie możesz wiedzieć.
Odwrotnie: wprowadzasz kartę w październiku. W listopadzie przychód jest o 5 procent niższy. Karta zaszkodziła? Prawdopodobnie nie. Listopad w wielu branżach jest po prostu słabszy. Może bez karty byłby o 10 procent słabszy. Tego też nie możesz wiedzieć.
Porównanie przed i po miesza efekt Twojego działania ze wszystkim, co się jeszcze dzieje. To nie pomiar, to domysł.
Jak grupa kontrolna to rozwiązuje
Idea jest prosta: zamiast porównywać dwa okresy, porównujesz dwie grupy w tym samym okresie.
- Grupa A (większość): otrzymuje kartę stemplową, powiadomienia push, promocje.
- Grupa B (grupa kontrolna): nic z tego nie otrzymuje. Kupuje normalnie, ale jest tak samo liczona.
Obie grupy doświadczają tego samego kwietnia z tą samą pogodą i tym samym remontem. Jeśli Grupa A wraca częściej w kwietniu niż Grupa B, to nie jest z powodu pogody. Grupa B też ją miała. To z powodu jednej różnicy między grupami: karty.
Kluczowe słowo to losowo. Grupa kontrolna nie może składać się z klientów, którzy przypadkowo nie chcieli karty. Mogą być generalnie mniej zainteresowani. Musi być wybrana losowo, aby obie grupy były średnio takie same: tyle samo stałych klientów, tyle samo okazjonalnych, ta sama mieszanka wiekowa.
Zrób test: Mierzysz uczciwie?
- Wiesz dokładnie, ile dodatkowych wizyt przynosi Twoja karta?
- Możesz wykluczyć, że wzrost przychodu był z powodu pogody?
- Masz grupę klientów, która nie otrzymuje karty?
- Czy ta grupa jest wybierana losowo, a nie na podstawie zainteresowania?
- Czekasz z wynikiem ROI, aż będzie wystarczająco danych?
Jeśli odpowiedziałeś „nie" na więcej niż dwa pytania, prawdopodobnie nie mierzysz, co Twoja karta naprawdę przynosi.
Jak stampa mierzy ROI z grupą kontrolną
Dokładnie ta zasada stoi za pomiarem ROI w stampa. Oto jak to działa:
- Losowy wybór. Około dziesięciu procent klientów, którzy skanują Twój kod QR, jest losowo przydzielanych do grupy kontrolnej. Nie otrzymują karty ani promocji. Klient o tym nie wie.
- Obie grupy są liczone. Powroty są rejestrowane dla wszystkich, niezależnie od tego, czy mają kartę, czy nie.
- Porównanie powrotów. Po kilku tygodniach porównujesz: jak często wraca grupa z kartą, jak często grupa kontrolna? Różnica to dodatkowe wizyty, które przyniosła karta.
- Przeliczenie na euro. Dodatkowe wizyty razy Twój średni rachunek daje dodatkowy przychód. Dashboard pokazuje to jako X dodatkowych wizyt, około Y euro.
- Tylko jeśli jest wiarygodne. Wynik jest pokazywany dopiero, gdy różnica jest statystycznie wiarygodna. Dopóki nie zebrało się wystarczająco klientów i tygodni, stampa mówi to uczciwie: Jeszcze za mało danych na pewny wynik.
Ostatni punkt jest ważny. Wiele narzędzi pokazuje od pierwszego dnia jakąś liczbę ROI. Przy dwudziestu klientach to czysty przypadek. Uczciwy pomiar czeka, aż będzie pewny.
Co oznacza statystycznie wiarygodny, bez fachowych terminów
Wyobraź sobie, że rzucasz monetą dziesięć razy i dostajesz siedem razy orła. Czy moneta jest sfałszowana? Prawdopodobnie nie. Siedem z dziesięciu zdarza się regularnie przy uczciwej monecie. Rzucasz ją tysiąc razy i dostajesz siedemset orłów, moneta jest prawie na pewno sfałszowana.
Dokładnie tak jest z grupą kontrolną. Jeśli 20 klientów z kartą średnio wraca 2,1 razy, a 3 klienci bez karty 1,8 razy, to nic nie mówi. Przy tak małych liczbach jeden klient, który przypadkowo był na urlopie, może zmienić wynik. Jeśli 500 klientów z kartą wraca 2,1 razy, a 55 bez karty 1,8 razy, różnica to rzeczywisty wynik.
Statystycznie wiarygodny lub istotny oznacza: Różnica jest tak duża, a grupy są tak duże, że przypadek jako wyjaśnienie jest bardzo mało prawdopodobny. Jak długo to trwa, zależy od liczby Twoich klientów. Kawiarnia ze stu kartami tygodniowo jest tam po kilku tygodniach. Studio paznokci z dziesięcioma nowymi klientami tygodniowo potrzebuje miesięcy.
Przykład obliczeniowy
Kawiarnia z 600 aktywnymi klientami. 540 ma kartę, 60 jest w grupie kontrolnej.
| Grupa z kartą | Grupa kontrolna | |
|---|---|---|
| Klienci | 540 | 60 |
| Wizyty na klienta w 8 tygodni | 5,4 | 4,5 |
| Różnica na klienta | 0,9 wizyty | |
| Dodatkowe wizyty razem | 540 × 0,9 = 486 | |
| Przy średnim rachunku 6 euro | około 2 900 euro |
Karta przyniosła w ciągu ośmiu tygodni około 486 dodatkowych wizyt, około 2 900 euro przychodu. Od tego odejmij zrealizowane nagrody, powiedzmy 100 darmowych kaw po 80 centów wartości towaru, czyli 80 euro. Netto pozostaje około 2 800 euro, które bez karty by nie było.
Bez grupy kontrolnej nie miałbyś tej liczby. Widziałbyś, że przychód wzrósł, ale nie wiedziałbyś, czy to była karta, czy wiosna.
Cena pomiaru
Grupa kontrolna coś kosztuje: dziesięć procent Twoich klientów nie otrzymuje karty. Jeśli karta działa, przychodzą trochę rzadziej. W przykładzie powyżej to 60 klientów razy 0,9 wizyty razy 6 euro, czyli około 320 euro w ciągu ośmiu tygodni.
W zamian dostajesz pewność. Wiesz, czy nagroda się opłaca. Czy push-promocje coś przynoszą. Czy zmiana liczby stempli zadziałała. Kto nie ma tej pewności, przez lata wydaje nagrody, nie wiedząc, czy coś przynoszą. To prawie zawsze kosztuje więcej niż grupa kontrolna.
Co się dzieje, jeśli nic nie zmienisz
Bez grupy kontrolnej latasz na ślepo. Widzisz, że przychód się zmienia, ale nie wiesz dlaczego. Zmieniasz nagrodę z 10 na 8 stempli, a przychód rośnie. Czy to była zmiana? Czy sezon letni? Nie wiesz. Więc zmieniasz z powrotem. Może przychód spada. Czy to była zmiana wstecz? Czy jesień? Znowu nie wiesz.
Wynik: Kręcisz pokrętłami, nie wiedząc, co robią. Wydajesz nagrody, nie wiedząc, czy się opłacają. I każdy tydzień tracisz stałych klientów, ponieważ nie wiesz, która akcja by ich przywróciła.
Do czego jeszcze możesz użyć tej zasady
Grupa kontrolna to podstawa każdego uczciwego pomiaru. Ta sama zasada stoi za testem A/B (dwie wersje akcji konkurują ze sobą). Jak jej używać do porównywania powiadomień push lub nagród, wyjaśnia artykuł Test A/B w małym sklepie. A które wskaźniki oprócz ROI powinieneś śledzić, znajduje się w artykule Pomiar programu lojalnościowego: 7 wskaźników.
Podsumowanie
Grupa kontrolna to losowo wybrana mała grupa klientów, która nie otrzymuje Twojego programu lojalnościowego. Ich zachowanie pokazuje, co by się stało bez karty. Różnica w stosunku do grupy z kartą to rzeczywisty efekt. To jedyny pomiar, który eliminuje wpływ pogody, sezonu i przypadku. stampa go wbudowuje, porównuje powroty obu grup i pokazuje wynik dopiero, gdy jest wiarygodny. Możesz bezpłatnie zacząć w pięć minut i mieć pomiar od samego początku – do 100 aktywnych klientów bez karty kredytowej, bez ryzyka.