A/B-тест у малому магазині: яка акція працює краще?
Кожен тиждень без тесту ти даруєш гроші неправильній акції — налаштовується за 5 хвилин, безплатно до 100 клієнтів.
Яка з двох акцій повертає більше гостей? A/B-тест відповідає на це питання без здогадок. Ти розділяєш клієнтів випадково на дві групи, даєш кожній іншу варіант і рахуєш, хто прийшов. Математика займає місце на пивній картці. Тут ти отримаєш покроковий процес, приклад з кафе та правила, коли різниця дійсно має значення.
Що таке A/B-тест (і чому здогадок недостатньо)
Ти розділяєш клієнтів випадково на дві групи. Група A отримує варіант A, наприклад «Безплатна капучино після 10 штампів». Група B отримує варіант B, наприклад «20 відсотків на наступну покупку». Після встановленого часу рахуєш, скільки з кожної групи повернулися.
Ключове значення має випадковість. Якщо ти даєш знижку постійним клієнтам, а безплатний товар новачкам, ти порівнюєш постійних клієнтів з новачками, а не акції. Випадковість гарантує, що обидві групи в середньому однакові. Тільки варіант пояснює тоді різницю.
Без тесту рішення приймає здогадка: «Знижка сподобалася, у суботу було переповнено». Що у суботу завжди переповнено, залишається поза увагою. A/B-тест замінює цю здогадку числом.
Різниця від контрольної групи
A/B-тест порівнює дві акції одна з одною. Контрольна група порівнює акцію з відсутністю акції. Обидва відповідають на різні питання:
- Контрольна група: Моя акція взагалі щось дає, чи гості прийшли б так чи інакше?
- A/B-тест: Яка з двох акцій дає більше?
Хто хоче знати обидва, працює з трьома групами: A, B і малою групою без акції. Як контрольна група працює детально і чому вона така чесна, пояснює стаття Контрольна група в маркетингу.
A/B-тест у п'ять кроків
1. Визнач одне питання. Змінюй тільки одну річ за раз: винагороду, текст, час або розмір знижки. Хто змінює дві речі одночасно, не знає в кінці, яка спрацювала.
2. Розділи випадково. З цифровими картками просто: парні номери в групу A, непарні в групу B. Обидві групи повинні бути однакового розміру.
3. Встанови період. Заздалегідь, не потім. Для кафе вистачає 14 днів, для перукарні скоріше шість тижнів, тому що інтервал між відвідуваннями довший.
4. Визнач успіх. Зазвичай: частка клієнтів, які прийшли хоча б раз за період. Альтернатива: виручка на клієнта або кількість використань.
5. Проаналізуй і вирішуй. Математика йде далі.
Математика: приклад з кафе
Кафе з 300 активними картками тестує два push-повідомлення для слабкого вівторка. 150 карток отримують варіант A: «Вівторок: безплатне печиво до кожної кави». 150 карток отримують варіант B: «Вівторок: 15 відсотків на все».
Після чотирьох вівторків кафе рахує, скільки клієнтів з кожної групи прийшли хоча б один раз у вівторок:
| Група | Отримали | Прийшли у вівторок | Коефіцієнт відповіді |
|---|---|---|---|
| A: Безплатне печиво | 150 | 33 | 22,0 відсотків |
| B: 15 відсотків знижки | 150 | 24 | 16,0 відсотків |
Формула для коефіцієнта відповіді:
Коефіцієнт відповіді = прийшло клієнтів ÷ отримали × 100
Варіант A дає 22 відсотки, варіант B — 16 відсотків. Різниця становить 6 відсоткових пункти. Іншими словами: печиво привело приблизно на 37 відсотків більше гостей, ніж знижка.
Крім того: печиво коштує кафе близько 30 центів, 15 відсотків знижки на чек 6 євро — 90 центів. Варіант A тому ефективніший і дешевший.
Коли різниця дійсно має значення
33 проти 24 гостей звучить однозначно. Але при 150 осіб у групі випадковість може деяких гостей туди-сюди посунути. Просте правило для малих магазинів без формул:
- Різниця менше 3 відсоткових пункти: Немає результату. Обидва варіанти практично однаково хороші, вибери дешевший.
- Різниця 3–6 відсоткових пункти: Намік, не доказ. Повтори тест або подовжи період.
- Різниця більше 6 відсоткових пункти при мінімум 100 клієнтів у групі: Достатньо надійно, щоб діяти.
Чим менші групи, тим більша повинна бути різниця. При 40 клієнтів у групі навіть 10 відсоткових пункти — це ще випадок. Тому для малих магазинів: тестуй варіанти, що сильно відрізняються, не «14 проти 15 відсотків знижки». І краще повтори близький тест один раз, перш ніж змінювати програму.
Що можна тестувати в малому магазині
Найкращі тести стосуються рішень, які ти все одно мусиш прийняти:
- Винагорода: Безплатний товар проти знижки проти додатків. Яка форма підходить до твоєї маржі, розглядає стаття про правильну винагороду в програмі лояльності.
- Кількість штампів: 8 проти 10 штампів до винагороди. Увага: тестуй тільки нові картки, існуючі не змінюй.
- Текст повідомлення: Фактичний («Сьогодні 2 за 1») проти особистого («Анна, твоя кава у вівторок чекає»).
- Час: Повідомлення о 8:00 проти 11:30. Для обідніх гостей це часто робить більшу різницю, ніж вміст.
- Часовий ліміт: Акція без кінця проти «тільки до 14:00». Приклади таких коротких пропозицій знайдеш у Flash-акціях.
Самотест: чи справедливий твій тест?
Відповідай Так або Ні:
- Я встановив питання (що я тестую) перед стартом?
- Обидві групи однакового розміру і випадково розділені?
- Я встановив період заздалегідь і дотримуюся його?
- Я змінюю тільки одну річ (винагороду, текст, час)?
- Мій персонал ставиться до обох груп однаково (без додаткової згадки одного варіанта)?
- Я аналізую за заздалегідь встановленим критерієм (не змінив його потім)?
Кожне Ні робить результат марним. Справедливий тест потребує дисципліни, не статистики.
Три помилки, що роблять будь-який тест марним
Змінити питання потім. Якщо коефіцієнт відповіді не показує різниці, раптом порівнюєш виручку, а якщо й вона не підходить, розмір чека. Встанови критерій успіху заздалегідь і дотримуйся його.
Припинити тест, як тільки один варіант вперед. Після трьох днів вперед A, після десяти днів B. Дотримуйся встановленого періоду.
Ставитися до груп по-різному. Якщо персонал згадує печиво-акцію на касі, а знижку ні, ти тестуєш персонал, а не акцію.
Що буває, якщо нічого не змінювати
Без тесту кожна акція працює за здогадкою. Ти даєш 15 відсотків знижки, тому що це звучить правильно, хоча безплатне печиво приносить більше гостей і коштує менше. Кожен тиждень без тесту ти даруєш гроші неправильній акції. Ти цього не помічаєш, тому що ніколи не порівнюєш.
З A/B-тестом ти знаєш після двох тижнів, який варіант працює. Ти економиш гроші, приносиш більше гостей і приймаєш рішення з числами, а не здогадками.
Висновок
A/B-тест у малому магазині — це не наука, а дисципліна: одне питання, випадкові групи, фіксований період, одна математична операція. З цифровими картками ти вже маєш номери клієнтів для розділення і скани для аналізу в панелі управління. Почни зараз: З stampa тест налаштовується за 5 хвилин, безплатно до 100 активних клієнтів, без кредитної карти, можна скасувати щомісяця.