Контрольная группа в маркетинге: как измерить ROI программы лояльности
Каждую неделю без контрольной группы вы, возможно, раздаёте награды клиентам, которые пришли бы и без карты — и не замечаете этого.
Контрольная группа в маркетинге — единственный честный способ узнать, приносит ли ваша программа лояльности реальную выручку. Без неё вы не знаете, привлекаете ли вы постоянных клиентов или просто раздаёте бесплатный кофе людям, которые пришли бы в любом случае. Принцип пришёл из медицины, но работает без знания статистики. Эта статья объясняет, что такое контрольная группа, почему обычное сравнение до и после вас обманывает и как stampa измеряет ROI вашей карты с помощью контрольной группы.
Краткий ответ
Контрольная группа — это случайно выбранная небольшая группа ваших клиентов. Она сознательно не получает стампу и акции. Затем вы сравниваете, как часто эта группа возвращается, с большой группой, у которой есть карта. Разница — это настоящий эффект вашей программы. Обе группы переживают всё остальное вместе: одну и ту же погоду, один и тот же сезон, один и тот же ремонт перед дверью.
Почему сравнение до и после вас обманывает
Очевидный способ — сравнить: выручка в месяц до карты против выручки в месяц после. Проблема: между этими месяцами изменилось не только наличие карты.
Представьте, вы запустили карту в марте. В апреле выручка на 12 процентов выше. Это была карта? Или первый тёплый выходной? Ремонт, который перекрыл улицу в марте? Новый офисный комплекс, открывшийся в апреле? Вы не можете это знать.
Наоборот: вы запустили карту в октябре. В ноябре выручка на 5 процентов ниже. Карта навредила? Вероятно, нет. Ноябрь во многих отраслях просто слабее. Возможно, без карты он был бы на 10 процентов слабее. И это вы тоже не можете знать.
Сравнение до и после смешивает эффект вашей меры со всем, что ещё происходит. Это не измерение, а предположение.
Как контрольная группа это решает
Идея проста: вместо сравнения двух периодов вы сравниваете две группы в один и тот же период.
- Группа A (большинство): получает стампу, push-уведомления, акции.
- Группа B (контрольная группа): ничего этого не получает. Она покупает как обычно, но считается так же.
Обе группы переживают один и тот же апрель с одной и той же погодой и одним и тем же ремонтом. Если группа A в апреле возвращается чаще, чем группа B, это не из-за погоды. Группа B тоже её переживала. Это из-за одного различия между группами: карты.
Ключевое слово — случайно. Контрольная группа не должна состоять из клиентов, которые случайно не захотели карту. Они, возможно, в целом менее заинтересованы. Она должна быть выбрана случайно, чтобы обе группы в среднем были одинаковыми: одинаковое количество постоянных клиентов, одинаковое количество случайных покупателей, одинаковый возрастной состав.
Проверьте себя: измеряете ли вы честно?
- Вы точно знаете, сколько дополнительных визитов приносит ваша карта?
- Можете ли вы исключить, что рост выручки был из-за погоды?
- У вас есть группа клиентов, которые не получают карту?
- Выбирается ли эта группа случайно, а не по интересу?
- Вы ждёте результата ROI, пока не накопится достаточно данных?
Если вы ответили «нет» более чем на два вопроса, вы, вероятно, не измеряете, что реально приносит ваша карта.
Как stampa измеряет ROI с контрольной группой
Именно этот принцип лежит в основе измерения ROI в stampa. Вот как это работает:
- Случайный выбор. Примерно десять процентов клиентов, которые сканируют ваш QR-код, случайно назначаются в контрольную группу. Они не получают карту и не получают акции. Клиент об этом не узнает.
- Обе группы считаются. Возвращаемость отслеживается у всех, с картой или без.
- Сравнение возвращаемости. Через несколько недель сравнивается: как часто возвращается группа с картой, как часто контрольная группа? Разница — это дополнительные визиты, которые принесла карта.
- Пересчёт в евро. Дополнительные визиты умножить на ваш средний чек дают дополнительную выручку. Панель показывает это как X дополнительных визитов, примерно Y евро.
- Только если это надёжно. Результат показывается только когда разница статистически надёжна. Пока не накопилось достаточно клиентов и недель, stampa честно говорит: ещё недостаточно данных для надёжного результата.
Последний пункт важен. Многие инструменты показывают какую-то цифру ROI с первого дня. При двадцати клиентах это чистая случайность. Честное измерение ждёт, пока оно сможет быть уверенным.
Что означает статистически надёжно без специальных терминов
Представьте, вы бросаете монету десять раз и получаете семь раз орла. Монета поддельная? Вероятно, нет. Семь из десяти случаются с честной монетой регулярно. Вы бросаете её тысячу раз и получаете семьсот раз орла, монета почти наверняка поддельная.
Точно так же с контрольной группой. Если 20 клиентов с картой в среднем возвращаются 2,1 раза и 3 клиента без карты 1,8 раза, это ничего не говорит. При таких малых числах один клиент, который случайно был в отпуске, может перевернуть результат. Если 500 клиентов с картой возвращаются 2,1 раза и 55 без карты 1,8 раза, разница — это настоящий результат.
Статистически надёжно или значимо означает: разница настолько велика и группы настолько велики, что случайность как объяснение очень маловероятна. Как долго это займёт, зависит от количества ваших клиентов. Кафе со ста картами в неделю достигает этого за несколько недель. Салон ногтей с десятью новыми клиентами в неделю нуждается в месяцах.
Пример расчёта
Кафе с 600 активными клиентами. 540 имеют карту, 60 в контрольной группе.
| Группа с картой | Контрольная группа | |
|---|---|---|
| Клиенты | 540 | 60 |
| Визиты на клиента за 8 недель | 5,4 | 4,5 |
| Разница на клиента | 0,9 визита | |
| Дополнительные визиты всего | 540 × 0,9 = 486 | |
| При среднем чеке 6 евро | около 2 900 евро |
Карта принесла примерно 486 дополнительных визитов за восемь недель, около 2 900 евро выручки. От этого вычитаются использованные награды, скажем, 100 бесплатных кофе по 80 центов стоимости товара, то есть 80 евро. Чистая прибыль около 2 800 евро, которые без карты не появились бы.
Без контрольной группы у вас не было бы этой цифры. Вы видели бы, что выручка выросла, но не знали бы, была ли это карта или весна.
Цена измерения
Контрольная группа стоит чего-то: десять процентов ваших клиентов не получают карту. Если карта работает, они приходят немного реже. В примере выше это 60 клиентов умножить на 0,9 визита умножить на 6 евро, то есть около 320 евро за восемь недель.
Взамен вы получаете уверенность. Вы знаете, окупается ли награда. Приносят ли что-то push-акции. Сработала ли смена количества штампов. Кто этой уверенности не имеет, годами раздаёт награды, не зная, приносят ли они пользу. Это почти всегда стоит больше, чем контрольная группа.
Что происходит, если вы ничего не меняете
Без контрольной группы вы летите вслепую. Вы видите, что выручка колеблется, но не почему. Вы меняете награду с 10 на 8 штампов, и выручка растёт. Это была смена? Или летний сезон? Вы не знаете. Поэтому вы меняете обратно. Возможно, выручка падает. Это была обратная смена? Или осень? Вы снова не знаете.
Результат: вы крутите ручки, не зная, что они делают. Вы раздаёте награды, не зная, окупаются ли они. И каждую неделю вы теряете постоянных клиентов, потому что не знаете, какая акция их вернула бы.
Для чего ещё вы можете использовать этот принцип
Контрольная группа — основа для любого честного измерения. Тот же принцип лежит в основе A/B-теста (две версии акции конкурируют друг с другом). Как с его помощью сравнивать push-уведомления или награды, объясняет статья A/B-тест в маленьком магазине. И какие показатели помимо ROI вы должны отслеживать, рассказано в статье Измерение программы лояльности: 7 ключевых показателей.
Итог
Контрольная группа — это случайно выбранная небольшая группа клиентов, которые не получают вашу программу лояльности. Их поведение показывает, что было бы без карты. Разница с группой с картой — это настоящий эффект. Это единственное измерение, которое исключает погоду, сезон и случайность. stampa встраивает его, сравнивает возвращаемость обеих групп и показывает результат только когда он надёжен. Вы можете бесплатно начать за пять минут и следить за измерением с самого начала — до 100 активных клиентов без кредитной карты, без риска.