Контрольна група в маркетингу: як виміряти ROI програми лояльності
Кожен тиждень без контрольної групи ти можливо даруєш винагороди клієнтам, які все одно прийшли б – і не знаєш про це.
Контрольна група в маркетингу – це єдиний чесний спосіб дізнатися, чи справді твоя програма лояльності приносить продажи. Без неї ти не знаєш, чи ти завойовуєш постійних клієнтів, чи просто роздаєш безплатну каву людям, які все одно прийшли б. Принцип походить з медицини, але працює без знання статистики. Ця стаття пояснює, що таке контрольна група, чому звичайне порівняння до-після тебе обманює і як stampa вимірює ROI твоєї карти за допомогою контрольної групи.
Коротка відповідь
Контрольна група – це випадково обрана невелика група твоїх клієнтів. Вона свідомо не отримує стемпель-карту і акції. Потім ти порівнюєш, як часто повертається ця група, з великою групою, яка має карту. Різниця – це справжній ефект твоєї програми. Обидві групи переживають все інше разом: ту ж погоду, той же сезон, те ж будівництво перед дверима.
Чому порівняння до-після тебе обманює
Очевидний спосіб – це порівняння: продажи в місяці перед картою проти продажів у місяці після. Проблема: між цими місяцями змінилося не тільки карта.
Уяви, що ти запускаєш карту в березні. У квітні продажи на 12 відсотків вище. Це була карта? Чи перший теплий вікенд? Будівництво, яке в березні перекрило вулицю? Новий офісний комплекс, який відкрився в квітні? Ти не можеш знати.
Навпаки: ти запускаєш карту в жовтні. У листопаді продажи на 5 відсотків нижче. Карта зашкодила? Ймовірно, ні. Листопад у багатьох галузях просто слабший. Можливо, без карти він був би на 10 відсотків слабший. І це ти теж не можеш знати.
Порівняння до-після змішує ефект твоєї дії з усім, що ще відбувається. Це не вимірювання, а припущення.
Як контрольна група це вирішує
Ідея проста: замість порівняння двох періодів часу ти порівнюєш дві групи в один і той же період.
- Група A (більшість): отримує стемпель-карту, push-повідомлення, акції.
- Група B (контрольна група): не отримує нічого з цього. Вона купує як звичайно, але рахується так само.
Обидві групи переживають той же квітень з тією ж погодою і тим же будівництвом. Якщо група A частіше повертається в квітні, ніж група B, то це не через погоду. Група B мала ту ж погоду. Це через одну різницю між групами: карту.
Ключове слово – випадково. Контрольна група не може складатися з клієнтів, які випадково не хотіли карту. Вони можливо менш зацікавлені взагалі. Вона має бути обрана випадково, щоб обидві групи в середньому були однаковими: однакова кількість постійних клієнтів, однакова кількість випадкових клієнтів, однакова вікова структура.
Зроби самопровірку: чи вимірюєш ти чесно?
- Ти точно знаєш, скільки додаткових відвідувань приносить твоя карта?
- Ти можеш виключити, що зростання продажів було через погоду?
- У тебе є група клієнтів, які не отримують карту?
- Ця група обирається випадково, а не за інтересом?
- Ти чекаєш з результатом ROI, поки не буде достатньо даних?
Якщо ти відповів "ні" більше ніж на два питання, ти ймовірно не вимірюєш, що справді приносить твоя карта.
Як stampa вимірює ROI з контрольною групою
Саме цей принцип закладений в вимірювання ROI stampa. Ось як це працює:
- Випадкова вибірка. Близько десяти відсотків клієнтів, які сканують твій QR-код, випадково потрапляють до контрольної групи. Вони не отримують карту і не отримують акції. Клієнт про це не дізнається.
- Обидві групи рахуються. Повернення фіксується у всіх, незалежно від карти чи ні.
- Порівняння повернень. Через кілька тижнів порівнюється: як часто повертається група з картою, як часто контрольна група? Різниця – це додаткові відвідування, які принесла карта.
- Переведення в євро. Додаткові відвідування помножені на твій середній чек дають додатковий продаж. Панель показує це як X додаткових відвідувань, приблизно Y євро.
- Тільки якщо це надійно. Результат показується тільки коли різниця статистично надійна. Поки не накопичилося достатньо клієнтів і тижнів, stampa чесно говорить: ще недостатньо даних для надійного результату.
Останній пункт важливий. Багато інструментів показують якусь цифру ROI з першого дня. При двадцяти клієнтах це чистий випадок. Чесне вимірювання чекає, поки воно може бути впевнене.
Що означає статистично надійно без фахових термінів
Уяви, що ти кидаєш монету десять разів і отримуєш сім разів орла. Монета підроблена? Ймовірно, ні. Сім з десяти трапляється з чесною монетою регулярно. Кидаєш її тисячу разів і отримуєш сімсот разів орла – монета майже напевно підроблена.
Так само з контрольною групою. Якщо 20 клієнтів з картою в середньому повертаються 2,1 разу і 3 клієнти без карти 1,8 разу, це нічого не говорить. При таких малих числах один клієнт, який випадково був у відпустці, може змінити результат. Якщо 500 клієнтів з картою повертаються 2,1 разу і 55 без карти 1,8 разу – різниця це справжній результат.
Статистично надійно або значущо означає: різниця настільки велика і групи настільки великі, що випадок як пояснення дуже малоймовірний. Як довго це займе, залежить від кількості твоїх клієнтів. Кафе зі ста картами на тиждень досягне цього за кілька тижнів. Студія манікюру з десятьма новими клієнтами на тиждень потребує місяців.
Приклад розрахунку
Кафе з 600 активними клієнтами. 540 мають карту, 60 в контрольній групі.
| Група з картою | Контрольна група | |
|---|---|---|
| Клієнти | 540 | 60 |
| Відвідування на клієнта за 8 тижнів | 5,4 | 4,5 |
| Різниця на клієнта | 0,9 відвідування | |
| Додаткові відвідування всього | 540 × 0,9 = 486 | |
| При 6 євро середнього чека | близько 2.900 євро |
Карта принесла за вісім тижнів близько 486 додаткових відвідувань, близько 2.900 євро продажів. Від цього віднімаються використані винагороди, скажімо 100 безплатних кав по 80 центів вартості товару, тобто 80 євро. Чистий результат близько 2.800 євро, які без карти не були б там.
Без контрольної групи ти не мав би цю цифру. Ти бачив би, що продажи зросли, але не знав би, чи це була карта чи весна.
Ціна вимірювання
Контрольна група коштує щось: десять відсотків твоїх клієнтів не отримують карту. Якщо карта працює, вони тому приходять трохи рідше. У прикладі вище це 60 клієнтів помножити на 0,9 відвідування помножити на 6 євро, тобто близько 320 євро за вісім тижнів.
Натомість ти отримуєш впевненість. Ти знаєш, чи винагорода окупається. Чи push-акції щось дають. Чи зміна кількості штампів спрацювала. Хто цієї впевненості не має, роками дарує винагороди, не знаючи, чи вони щось дають. Це майже завжди коштує більше, ніж контрольна група.
Що відбувається, якщо ти нічого не змінюєш
Без контрольної групи ти літаєш вслід. Ти бачиш, що продажи коливаються, але не знаєш чому. Ти змінюєш винагороду з 10 на 8 штампів, і продажи зростають. Це була зміна? Чи літнього сезону? Ти не знаєш. Тому змінюєш назад. Можливо продажи падають. Це була зміна назад? Чи осінь? Ти знову не знаєш.
Результат: ти крутиш ручки, не знаючи, що вони роблять. Ти даруєш винагороди, не знаючи, чи вони окупаються. І кожен тиждень ти втрачаєш постійних клієнтів, тому що не знаєш, яка акція їх повернула б.
Для чого ще ти можеш використовувати цей принцип
Контрольна група – це основа для будь-якого чесного вимірювання. Той же принцип стоїть за A/B-тестом (дві варіанти дії змагаються одна з одною). Як ти з ним порівнюєш push-повідомлення чи винагороди, пояснює стаття A/B-тест у малому магазині. І які показники крім ROI ти маєш мати на увазі, написано в статті Вимірювання програми лояльності: 7 показників.
Висновок
Контрольна група – це випадково обрана невелика група клієнтів, які не отримують твою програму лояльності. Їхня поведінка показує, що було б без карти. Різниця з групою з картою – це справжній ефект. Це єдине вимірювання, яке виключає погоду, сезон і випадок. stampa вбудовує його, порівнює повернення обох груп і показує результат тільки коли він надійний. Ти можеш безплатно почати за п'ять хвилин і мати вимірювання з самого початку – до 100 активних клієнтів без кредитної карти, без ризику.