对照组营销：如何衡量会员卡计划的投资回报率
每周没有对照组，你可能在给本来就会来的顾客发放奖励——而你根本不知道。
会员卡计划中的对照组是发现你的会员计划是否真正带来销售额的唯一诚实方式。没有它，你不知道是在赢得回头客，还是只是把免费咖啡发给本来就会来的人。这个原理来自医学，但不需要统计学学位就能理解。本文解释什么是对照组，为什么常见的前后对比会误导你，以及 stampa 如何用它来衡量你的卡的投资回报率。
简短回答
对照组是你的顾客中随机选择的一小群人。他们故意不获得会员卡和促销活动。然后你比较这个群体的回头率与获得卡的大群体。差异就是你计划的真实效果。两个群体都经历了其他一切：相同的天气、相同的季节、门前相同的施工。
为什么前后对比会误导你
显而易见的方法是对比：推出卡前一个月的销售额对比推出后一个月。问题是：这两个月之间不仅仅改变了卡。
想象你在三月推出卡。四月销售额高了百分之十二。是卡的作用吗？还是第一个温暖的周末？三月封闭街道的施工？四月开业的新办公楼？你无法知道。
反过来：你在十月推出卡。十一月销售额低了百分之五。卡有害吗？可能没有。十一月在许多行业就是较弱的。也许没有卡会低百分之十。这个你也无法知道。
前后对比把你的措施的效果与其他发生的一切混在一起。 它不是测量，而是猜测。
对照组如何解决这个问题
想法很简单：与其比较两个时间段，你比较同一时间段的两个群体。
- A 组（大多数）： 获得会员卡、推送通知、促销活动。
- B 组（对照组）： 什么都不获得。他们正常购物，但也被计数。
两个群体都经历相同的四月，相同的天气和相同的施工。如果 A 组在四月比 B 组更频繁回头，那不是天气的作用。B 组也有天气。是两个群体之间的唯一差异：卡。
关键词是随机。 对照组不能由碰巧不想要卡的顾客组成。他们可能总体上不太感兴趣。必须随机抽取，使两个群体平均相同：相同数量的常客，相同数量的偶然顾客，相同的年龄分布。
自测：你是否诚实地测量？
- 你确切知道你的卡带来多少额外访问吗？
- 你能排除销售额上升是由于天气吗？
- 你有一群不获得卡的顾客吗？
- 这个群体是随机选择的，而不是按兴趣选择的吗？
- 你等到有足够数据后才公布投资回报率结果吗？
如果你有超过两个问题回答"否"，你可能没有诚实地测量你的卡真正带来什么。
stampa 如何用对照组测量投资回报率
这正是 stampa 投资回报率测量中的原理。流程如下：
- 随机选择。 大约百分之十扫描你二维码的顾客被随机分配到对照组。他们不获得卡和促销活动。顾客不会注意到。
- 两个群体都被计数。 无论有无卡，所有人的回头率都被记录。
- 回头率对比。 几周后进行对比：卡群体多久回头一次，对照组多久回头一次？差异就是卡带来的额外访问。
- 转换为欧元。 额外访问乘以你的平均订单额得出额外销售额。仪表板显示为 X 额外访问，约 Y 欧元。
- 仅当可靠时才显示。 结果只在差异统计可靠时显示。只要没有足够的顾客和周数汇总，stampa 会诚实地说：数据还不够以获得可靠结果。
最后一点很重要。 许多工具从第一天就显示某个投资回报率数字。有二十个顾客时，那纯粹是巧合。诚实的测量会等到能够确定为止。
统计可靠性用简单的话是什么意思
想象你抛硬币十次，得到七次正面。硬币被做手脚了吗？可能没有。七次正面在公平硬币上经常发生。你抛一千次，得到七百次正面，硬币几乎肯定被做手脚了。
对照组也是一样。如果 20 个有卡的顾客平均回头 2.1 次，3 个无卡顾客 1.8 次，这说不了什么。数字这么小时，一个碰巧在度假的顾客就能改变结果。如果 500 个有卡顾客回头 2.1 次，55 个无卡顾客 1.8 次，差异就是真实结果。
统计可靠或显著意味着： 差异足够大，群体足够大，使巧合作为解释极不可能。需要多长时间取决于你的顾客数量。每周有一百张新卡的咖啡馆几周后就能达到。每周只有十个新顾客的美甲店需要几个月。
一个计算示例
一家有 600 个活跃顾客的咖啡馆。540 个有卡，60 个在对照组。
| 卡群体 | 对照组 | |
|---|---|---|
| 顾客数 | 540 | 60 |
| 8 周内每个顾客的访问次数 | 5.4 | 4.5 |
| 每个顾客的差异 | 0.9 次访问 | |
| 总额外访问 | 540 × 0.9 = 486 | |
| 平均订单额 6 欧元 | 约 2,900 欧元 |
卡在八周内带来了约 486 次额外访问，约 2,900 欧元销售额。从中扣除已兑现的奖励，比如 100 杯免费咖啡，每杯成本 0.80 欧元，共 80 欧元。净收益约 2,800 欧元，这些没有卡就不会产生。
没有对照组，你就没有这个数字。 你会看到销售额上升，但不知道是卡的作用还是春天的作用。
测量的代价
对照组有成本：百分之十的顾客不获得卡。如果卡有效，他们因此会少来一些。在上面的例子中，那是 60 个顾客乘以 0.9 次访问乘以 6 欧元，八周内约 320 欧元。
作为交换，你获得确定性。你知道奖励是否值得。推送促销是否有效。改变印章数量是否有效。谁没有这种确定性，就会多年来发放奖励，却不知道它们是否有效。那几乎总是比对照组成本更高。
如果你什么都不改变会发生什么
没有对照组，你是盲目飞行。你看到销售额波动，但不知道为什么。你把奖励从 10 个印章改为 8 个，销售额上升。是改变的作用吗？还是夏季？你不知道。所以你改回去。也许销售额下降。是改回的作用吗？还是秋天？你又不知道了。
结果是：你转动控制杆，却不知道它们的作用。 你发放奖励，却不知道它们是否值得。每周都有回头客流失，因为你不知道哪个促销会把他们带回来。
你还能用这个原理做什么
对照组是任何诚实测量的基础。同样的原理也在 A/B 测试中（两个促销变体相互竞争）。你如何用它来比较推送通知或奖励，在文章 小店中的 A/B 测试 中解释。你除了投资回报率还应该关注哪些指标，在文章 会员计划测量：7 个关键指标 中说明。
总结
对照组是一个随机抽取的小群体顾客，他们不获得你的会员计划。他们的行为显示没有卡会发生什么。与卡群体的差异是真实效果。这是唯一能排除天气、季节和巧合的测量。stampa 将其内置，比较两个群体的回头率，只在结果可靠时才显示。你可以在五分钟内 免费开始，从一开始就进行测量——最多 100 个活跃顾客，无需信用卡，无风险。