Test A/B w małym sklepie: która akcja działa lepiej?
Każdy tydzień bez testu tracisz pieniądze na złą akcję — w 5 minut ustawisz, za darmo do 100 klientów.
Która z dwóch akcji przywraca więcej gości? Test A/B odpowiada na to pytanie bez zgadywania. Dzielisz klientów losowo na dwie grupy, dajesz każdej inny wariant i liczysz, kto przyszedł. Kalkulacja mieści się na kartce. Tutaj dostaniesz procedurę krok po kroku, przykład z kawiarni i zasady, kiedy różnica naprawdę się liczy.
Co to jest test A/B (i dlaczego intuicja nie wystarczy)
Dzielisz klientów losowo na dwie grupy. Grupa A dostaje wariant A, na przykład „Darmowa cappuccino od 10 stempli". Grupa B dostaje wariant B, na przykład „20 procent na następne zakupy". Po ustalonym czasie liczysz, ile osób z każdej grupy wróciło.
Kluczowe jest losowanie. Jeśli rabat dajesz stałym klientom, a darmowy produkt nowym, porównujesz stałych klientów z nowymi, nie akcje. Losowanie sprawia, że obie grupy są średnio takie same. Tylko wariant wyjaśnia wtedy różnicę.
Bez testu decyduje intuicja: „Rabat się spodobał, w sobotę było pełno." Że w sobotę zawsze jest pełno, schodzi na bok. Test A/B zastępuje to uczucie liczbą.
Różnica między grupą kontrolną
Test A/B porównuje dwie akcje ze sobą. Grupa kontrolna porównuje akcję z brakiem akcji. Oba odpowiadają na różne pytania:
- Grupa kontrolna: Czy moja akcja w ogóle coś daje, czy goście by tak czy siak przyszli?
- Test A/B: Która z dwóch akcji daje więcej?
Kto chce wiedzieć oba, pracuje z trzema grupami: A, B i małą grupą bez akcji. Jak dokładnie działa grupa kontrolna i dlaczego jest taka uczciwa, wyjaśnia artykuł Grupa kontrolna w marketingu.
Test A/B w pięciu krokach
1. Ustal jedno pytanie. Zmieniaj tylko jedną rzecz na raz: nagrodę, tekst, godzinę lub wysokość rabatu. Kto zmienia dwie rzeczy jednocześnie, nie wie na koniec, co zadziałało.
2. Podziel losowo. Z cyfrowymi kartami stemplowymi łatwo: numery parzyste w grupę A, nieparzyste w grupę B. Obie grupy powinny być równe.
3. Ustal okres. Wcześniej, nie później. Dla kawiarni wystarczy 14 dni, dla fryzjera raczej sześć tygodni, bo przerwa między wizytami jest dłuższa.
4. Zdefiniuj sukces. Zwykle: odsetek klientów, którzy przyszli co najmniej raz w okresie. Alternatywnie: przychód na klienta lub liczba realizacji.
5. Przeanalizuj i zdecyduj. Kalkulacja zaraz poniżej.
Kalkulacja: przykład z kawiarni
Kawiarnia z 300 aktywnymi kartami testuje dwie wiadomości push na słaby wtorek. 150 kart dostaje wariant A: „Wtorek: darmowe ciastko do każdej kawy." 150 kart dostaje wariant B: „Wtorek: 15 procent na wszystko."
Po czterech wtorkach kawiarnia liczy, ile klientów z każdej grupy przyszło co najmniej raz we wtorek:
| Grupa | Odbiorcy | Przyszli we wtorek | Wskaźnik zwrotu |
|---|---|---|---|
| A: Darmowe ciastko | 150 | 33 | 22,0 procent |
| B: 15 procent rabatu | 150 | 24 | 16,0 procent |
Wzór na wskaźnik zwrotu:
Wskaźnik zwrotu = przyszli klienci ÷ odbiorcy × 100
Wariant A to 22 procent, wariant B to 16 procent. Różnica to 6 punktów procentowych. Inaczej mówiąc: ciastko przyciągnęło około 37 procent więcej gości niż rabat.
Dodatkowo: ciastko kosztuje kawiarnię około 30 centów, 15 procent rabatu przy rachunku 6 euro to 90 centów. Wariant A jest więc bardziej skuteczny i tańszy.
Kiedy różnica naprawdę się liczy
33 przeciwko 24 gościom brzmi jednoznacznie. Ale przy 150 osobach na grupę przypadek może przesunąć kilku gości tam i z powrotem. Prosta zasada dla małych sklepów, bez wzorów:
- Różnica poniżej 3 punktów procentowych: Brak wyniku. Oba warianty są praktycznie równie dobre, weź tańszy.
- Różnica 3 do 6 punktów procentowych: Wskazówka, nie dowód. Powtórz test lub wydłuż okres.
- Różnica powyżej 6 punktów procentowych przy co najmniej 100 klientach na grupę: Wystarczająco wiarygodne, by działać.
Im mniejsze grupy, tym większa musi być różnica. Ze 100 klientami na grupę nawet 10 punktów procentowych to jeszcze przypadek. Dlatego dla małych sklepów: testuj warianty, które się wyraźnie różnią, nie „14 przeciwko 15 procent rabatu". I powtórz wątpliwy test, zanim zmienisz program.
Co się testuje w małym sklepie
Najlepsze testy dotyczą decyzji, które i tak musisz podjąć:
- Nagroda: Darmowy produkt przeciwko rabatowi przeciwko dodatkom. Która forma pasuje do twojej marży, wyjaśnia artykuł o wyborze właściwej nagrody w programie lojalnościowym.
- Liczba stempli: 8 przeciwko 10 stempli do nagrody. Uwaga: testuj tylko nowe karty, nie zmieniaj istniejących.
- Tekst wiadomości: Rzeczowy („Dziś 2 za 1") przeciwko osobisty („Anna, twoja kawa we wtorek czeka").
- Godzina: Wiadomość o 8 rano przeciwko 11:30. Dla gości na lunch to często robi większą różnicę niż treść.
- Limit czasowy: Akcja bez końca przeciwko „tylko do 14:00". Przykłady takich krótkich ofert znajdziesz w akcjach błyskawicznych.
Zrób autotest: czy twój test jest uczciwy?
Odpowiedz Tak lub Nie:
- Ustalę pytanie (co testuję) przed startem?
- Obie grupy są równe i losowo podzielone?
- Ustalę okres wcześniej i go dotrzymuję?
- Zmieniam tylko jedną rzecz (nagrodę, tekst, godzinę)?
- Mój zespół traktuje obie grupy równo (bez dodatkowego wspominania wariantu)?
- Analizuję według wcześniej ustalonego kryterium (nie zmieniam go później)?
Każde Nie czyni wynik bezwartościowym. Uczciwy test wymaga dyscypliny, nie statystyki.
Trzy błędy, które niszczą każdy test
Zmiana pytania po fakcie. Jeśli wskaźnik zwrotu nie pokazuje różnicy, nagle porównujesz przychód, a jeśli i ten nie pasuje, wysokość rachunku. Ustal miarę sukcesu wcześniej i się jej trzymaj.
Przerwanie testu, gdy jeden wariant prowadzi. Po trzech dniach prowadzi A, po dziesięciu B. Dotrzymaj ustalonego okresu.
Nierówne traktowanie grup. Jeśli zespół wspomina akcję z ciastkiem przy kasie, ale nie wspomina rabatu, testujesz zespół, nie akcję.
Co się dzieje, gdy nic nie zmieniasz
Bez testu każda akcja działa na intuicję. Dajesz 15 procent rabatu, bo się to czuje dobrze, chociaż darmowe ciastko przyciąga więcej gości i kosztuje mniej. Każdy tydzień bez testu tracisz pieniądze na złą akcję. Nie zauważasz, bo nigdy nie porównujesz.
Z testem A/B wiesz po dwóch tygodniach, który wariant działa. Oszczędzasz pieniądze, przyciągasz więcej gości i podejmujesz decyzje z liczbami, nie uczuciem.
Podsumowanie
Test A/B w małym sklepie to nie nauka, to dyscyplina: jedno pytanie, losowe grupy, ustalony okres, jedna kalkulacja. Z cyfrowymi kartami stemplowymi masz już numery klientów do podziału i skany do analizy w panelu. Zacznij teraz: Ze stampa test ustawisz w 5 minut, za darmo do 100 aktywnych klientów, bez karty kredytowej, miesięczne rozwiązanie.