コントロールグループマーケティング：ロイヤルティプログラムのROIを測定する方法
コントロールグループなしで毎週を過ごすことは、どうせ来ていたはずの顧客にリワードを配ってしまっているかもしれません。気づかないまま。
マーケティングにおけるコントロールグループは、ロイヤルティプログラムが本当に売上をもたらすかどうかを知る唯一の正直な方法です。コントロールグループなしでは、常連客を獲得しているのか、それとも単にどうせ来ていたはずの人に無料コーヒーを配っているのかわかりません。このプリンシプルは医学から来ていますが、統計学の学位は必要ありません。この記事では、コントロールグループとは何か、なぜ一般的な事前事後比較があなたを騙すのか、そしてstampaがどのようにしてあなたのカードのROIを測定するのかを説明します。
簡潔な答え
コントロールグループは、ランダムに選ばれたあなたの顧客の小さなグループです。彼らはスタンプカードと施策を意図的に受け取りません。その後、このグループがどのくらいの頻度で戻ってくるかを、カードを持つ大きなグループと比較します。その差があなたのプログラムの真の効果です。両方のグループは他のすべてを一緒に経験します。同じ天候、同じ季節、同じ工事。
なぜ事前事後比較があなたを騙すのか
明白な方法は比較です。カード前の月の売上対カード後の月の売上。問題は、これらの月の間に、カード以外にも変わったことがあるということです。
3月にカードを導入したと想像してください。4月の売上は12%高くなります。それはカードのせい？それとも最初の暖かい週末？3月に通りを塞いでいた工事？4月にオープンした新しいオフィスビル？あなたは知ることができません。
逆に、10月にカードを導入します。11月の売上は5%低くなります。カードが害をもたらしましたか？おそらくそうではありません。11月は多くの業種で単に弱いだけです。カードなしでは11月は10%弱かったかもしれません。これもあなたは知ることができません。
事前事後比較は、あなたの施策の効果を他に起きているすべてのことと混ぜてしまいます。 これは測定ではなく、推測です。
コントロールグループがこれをどのように解決するか
考え方は単純です。2つの時間期間を比較する代わりに、同じ時間期間に2つのグループを比較します。
- グループA（大多数）： スタンプカード、プッシュ通知、施策を受け取ります。
- グループB（コントロールグループ）： これらのいずれも受け取りません。通常通り買い物をしますが、同じようにカウントされます。
両方のグループは同じ4月を同じ天候と同じ工事で経験します。グループAが4月にグループBより頻繁に戻ってくる場合、それは天候のせいではありません。グループBも天候を経験しました。それはグループ間の1つの違いのせいです。カードです。
重要な言葉はランダムです。 コントロールグループは、たまたまカードを望まなかった顧客で構成されてはいけません。彼らはおそらく一般的に興味が薄いです。ランダムに引き出される必要があり、両方のグループが平均的に同じになるようにします。常連客の数が同じ、たまに来る顧客の数が同じ、年齢構成が同じ。
自分でテストしてください：正直に測定していますか？
- あなたのカードが何回の追加訪問をもたらすかを正確に知っていますか？
- 売上の増加が天候のせいではないことを除外できますか？
- カードを受け取らない顧客グループがありますか？
- このグループは関心に基づいてではなく、ランダムに選ばれていますか？
- 十分なデータが揃うまでROI結果を待っていますか？
2つ以上の質問に「いいえ」と答えた場合、おそらくあなたのカードが本当に何をもたらすかを測定していません。
stampaがコントロールグループでROIを測定する方法
このプリンシプルはstampaのROI測定に組み込まれています。こうして進みます。
- ランダムな選択。 あなたのQRコードをスキャンする顧客の約10%は、ランダムにコントロールグループに割り当てられます。彼らはカードと施策を受け取りません。顧客はそれに気づきません。
- 両方のグループがカウントされます。 再訪問はすべての人で記録されます。カードの有無に関わらず。
- 再訪問の比較。 数週間後、比較が行われます。カードグループはどのくらいの頻度で戻ってきますか、コントロールグループはどうですか？その差がカードがもたらした追加訪問です。
- ユーロへの変換。 追加訪問×あなたの平均客単価は追加売上を与えます。ダッシュボードはそれをX追加訪問、約Y€として表示します。
- 信頼できる場合のみ。 結果は差が統計的に信頼できるようになるまで表示されません。十分な顧客と週がまだ集まっていない間、stampaはそれを正直に言います。確実な結果を得るにはまだ十分なデータがありません。
最後のポイントは重要です。 多くのツールは初日から何らかのROI数を表示します。20人の顧客では、それは純粋な偶然です。正直な測定は、確実になるまで待ちます。
専門用語なしで統計的に信頼できるとは何か
コインを10回投げて、7回表が出たと想像してください。コインは不正ですか？おそらくそうではありません。7回中10回は公正なコインで定期的に起こります。1000回投げて700回表が出た場合、コインはほぼ確実に不正です。
コントロールグループでも全く同じです。カード保有の20人の顧客が平均2.1回戻ってきて、カード非保有の3人が1.8回戻ってくる場合、それは何も言いません。そのような小さな数では、たまたま休暇中だった1人の顧客が結果を変えることができます。カード保有の500人の顧客が2.1回来て、カード非保有の55人が1.8回来る場合、その差は本当の結果です。
統計的に有意とは： その差は十分に大きく、グループは十分に大きいため、偶然が説明として非常に可能性が低いです。それがどのくらい長くかかるかは、あなたの顧客数によって異なります。週に100枚のカードを配るカフェは数週間後にそこに到達します。週に10人の新規顧客を持つネイルスタジオは数ヶ月必要です。
計算例
600人のアクティブな顧客を持つカフェ。540人がカードを持ち、60人がコントロールグループにいます。
| カードグループ | コントロールグループ | |
|---|---|---|
| 顧客数 | 540 | 60 |
| 8週間での顧客1人あたりの訪問数 | 5.4 | 4.5 |
| 顧客1人あたりの差 | 0.9訪問 | |
| 追加訪問合計 | 540 × 0.9 = 486 | |
| 平均客単価€6の場合 | 約€2,900 |
カードは8週間で約486回の追加訪問をもたらしました。約€2,900の売上。そこから引き換えられたリワードを差し引きます。例えば、無料コーヒー100杯を€0.80の原価で、つまり€80。純利益は約€2,800で、カードなしでは存在しなかったはずです。
コントロールグループなしでは、この数字を持っていません。 売上が増加したことは見えますが、それがカードのせいか春のせいかはわかりません。
測定の代価
コントロールグループは何かを費用とします。あなたの顧客の10%はカードを受け取りません。カードが効果があれば、彼らはそのため少し頻繁に来ません。上記の例では、それは60人の顧客×0.9訪問×€6で、8週間で約€320です。
その代わり、あなたは確実性を得ます。カードが本当に効果があるかどうかを知ります。リワードが価値があるかどうか。プッシュアクションが何かをもたらすかどうか。スタンプ数の変更が効果があったかどうか。この確実性を持たない人は、何年もリワードを配り続けても、それが何かをもたらしているかどうかわかりません。それはほぼ常にコントロールグループより多くの費用がかかります。
何も変えなかった場合に何が起こるか
コントロールグループなしでは、盲目的に飛んでいます。売上が変動することは見えますが、なぜかはわかりません。リワードを10スタンプから8スタンプに変更し、売上が上がります。それは変更のせい？それとも夏のシーズン？あなたはわかりません。だからあなたは戻します。おそらく売上は下がります。それは戻すのせい？それとも秋？あなたは再びわかりません。
結果：あなたは何が効果があるかを知らずにレバーを回します。 あなたはリワードを配り、それが価値があるかどうかを知りません。そして毎週、常連客が失われます。なぜなら、あなたはどのアクションが彼らを戻したかを知らないからです。
このプリンシプルを他に何に使用できるか
コントロールグループは正直な測定の基礎です。同じプリンシプルはA/Bテスト（2つのアクションバリエーションが互いに対抗して実行される）の背後にあります。プッシュ通知またはリワードを比較するためにそれを使用する方法は、記事小さな店でのA/Bテストで説明されています。ROIの他にどの指標に注意を払うべきかは、記事ロイヤルティプログラムの測定：7つのKPIに記載されています。
まとめ
コントロールグループは、ランダムに引き出された小さな顧客グループで、あなたのロイヤルティプログラムを受け取りません。彼らの行動は、カードなしで何が起きるかを示します。カードグループとの差は真の効果です。これは天候、季節、偶然を計算に入れる唯一の測定です。stampaはそれを組み込み、両方のグループの再訪問を比較し、結果が信頼できるようになるまで表示します。無料で開始でき、測定を最初から実行できます。100人のアクティブな顧客まで、クレジットカードなし、リスクなし。