小店A/B测试：哪个活动效果更好？
每周不做测试，你就在给错误的活动浪费钱——5分钟设置，100个客户以内免费。
两个活动中哪一个能吸引更多回头客？ A/B测试用数据回答这个问题，不靠直觉。你随机分割客户为两组，给每组不同的方案，然后统计谁来了。计算简单到能写在纸巾上。这里你会得到逐步指南、咖啡馆的真实案例，以及什么时候差异才真正有意义的规则。
A/B测试是什么（以及为什么直觉不够）
你随机分割客户为两组。A组获得方案A，比如"集满10个印章送免费卡布奇诺"。B组获得方案B，比如"下次购买享受20%折扣"。在规定时间后，你统计两组中有多少人回来了。
关键是随机性。 如果你给老顾客一个折扣，给新客户一个免费产品，你比较的是老顾客和新客户，而不是活动本身。随机分割确保两组平均而言是相同的。只有方案本身才能解释差异。
没有测试的话，直觉决定一切："折扣反应不错，周六人很多。"但周六本来就总是很忙，这一点被忽视了。A/B测试用数字替代这种感觉。
与对照组的区别
A/B测试对比两个活动。对照组对比一个活动与没有活动。两者回答不同的问题：
- 对照组： 我的活动本身有效吗，还是客户无论如何都会来？
- A/B测试： 两个活动中哪个效果更好？
如果你想同时了解两者，可以用三组：A、B和一个没有活动的小对照组。详细了解对照组如何运作以及为什么它如此诚实，请阅读文章营销中的对照组解析。
五步进行A/B测试
1. 确定一个问题。 每次只改变一个因素：奖励、文案、时间或折扣幅度。如果同时改变两个因素，你最后不知道哪个起了作用。
2. 随机分割。 用数字集点卡很简单：偶数卡号分到A组，奇数分到B组。两组应该大小相等。
3. 设定时间段。 提前设定，不是事后。对咖啡馆来说14天足够，对理发店来说可能需要6周，因为客户来的间隔更长。
4. 定义成功。 通常是：时间段内至少来过一次的客户比例。或者：每个客户的销售额或兑现率。
5. 分析并决策。 计算方法如下。
计算：咖啡馆的真实案例
一家有300张活跃集点卡的咖啡馆测试两条推送文案，目标是提升冷清的周二。150张卡收到方案A："周二：每杯咖啡送免费饼干。"150张卡收到方案B："周二：全场享受15%折扣。"
四个周二后，咖啡馆统计每组中至少来过一次的客户数：
| 组别 | 收到推送 | 周二来过 | 回应率 |
|---|---|---|---|
| A：免费饼干 | 150 | 33 | 22.0% |
| B：15%折扣 | 150 | 24 | 16.0% |
回应率的公式：
回应率 = 来过的客户 ÷ 收到推送的人数 × 100
方案A的回应率是22%，方案B是16%。差异为6个百分点。换句话说：饼干吸引的客户比折扣多约37%。
还有一点：饼干成本约0.30欧元，15%折扣在6欧元账单上约0.90欧元。方案A既更有效又更便宜。
什么时候差异才真正有意义
33对24个客户看起来很明确。但在每组150人的情况下，随机波动可能会移动一些客户。对小店来说，这是一个简单的经验法则，无需公式：
- 差异低于3个百分点： 无结论。两个方案基本相同，选择更便宜的。
- 差异3到6个百分点： 一个提示，不是证明。重复测试或延长时间段。
- 差异超过6个百分点且每组至少100个客户： 足够可靠，可以采取行动。
样本越小，差异必须越大。 每组40人的情况下，即使10个百分点的差异也可能是随机的。因此对小店来说：测试差异明显的方案，不要测试"14%对15%折扣"。在改变你的计划前，最好重复一次接近的测试。
小店可以测试什么
最好的测试围绕你无论如何都要做的决策：
- 奖励形式： 免费产品对折扣对额外赠品。哪种形式适合你的利润率，详见文章集点卡计划中选择正确的奖励。
- 集点数量： 8个印章对10个印章才能获得奖励。注意：只对新卡测试，不要改变现有卡。
- 文案内容： 直白的（"今天买一送一"）对个性化的（"Anna，你的周二咖啡在等你"）。
- 发送时间： 早上8点对11:30。对午餐客户来说，这通常比内容本身影响更大。
- 时间限制： 无期限活动对"仅限下午2点前"。短期优惠的例子见闪购活动。
自我检查：你的测试公平吗？
用是或否回答这些问题：
- 我在开始前确定了问题（我要测试什么）？
- 两组大小相等且随机分割？
- 我提前确定了时间段并坚持执行？
- 我只改变一个因素（奖励、文案、时间）？
- 我的团队平等对待两组（不特别强调某个方案）？
- 我按照提前确定的标准分析（没有事后改变）？
每个"否"都会让结果失效。 公平的测试需要纪律，不需要统计学。
三个会毁掉任何测试的错误
事后改变问题。 如果回应率没有显示差异，突然开始比较销售额；如果那也不行，比较账单金额。提前设定成功标准并坚持。
一旦一个方案领先就停止测试。 第三天A领先，第十天B领先。坚持规定的时间段。
不平等对待两组。 如果团队在收银台强调饼干活动但不提折扣，你测试的是团队，不是活动。
如果你什么都不改变会怎样
没有测试，每个活动都凭直觉运行。你给15%折扣，因为感觉对，但免费饼干能吸引更多客户且成本更低。每周不做测试，你都在给错误的活动浪费钱。你不会注意到，因为你从不比较。
用A/B测试，两周后你就知道哪个方案有效。你省钱，吸引更多客户，用数字而不是感觉做决策。
总结
小店的A/B测试不是科学，而是纪律：一个问题、随机分组、固定时间段、一个计算。用数字集点卡，你已经有了分割的卡号和分析的扫描数据在仪表板中。现在就开始： 用stampa 5分钟设置测试，免费至100个活跃客户，无需信用卡，按月取消。