Kontrollgruppe Marketing: So misst du ROI deines Treueprogramms
Jede Woche ohne Kontrollgruppe verschenkst du vielleicht Belohnungen an Kunden, die ohnehin gekommen wären – ohne es zu merken.
Eine Kontrollgruppe im Marketing ist der einzige ehrliche Weg herauszufinden, ob dein Treueprogramm wirklich Umsatz bringt. Ohne sie weißt du nicht, ob du Stammkunden gewinnst oder nur Gratis-Kaffee an Leute verteilst, die ohnehin gekommen wären. Das Prinzip stammt aus der Medizin, funktioniert aber ohne Statistik-Studium. Dieser Artikel erklärt, was eine Kontrollgruppe ist, warum der übliche Vorher-Nachher-Vergleich dich täuscht und wie stampa damit den ROI deiner Karte misst.
Die Kurzantwort
Eine Kontrollgruppe ist eine zufällig ausgewählte kleine Gruppe deiner Kunden. Sie bekommt die Stempelkarte und die Aktionen bewusst nicht. Du vergleichst dann, wie oft diese Gruppe wiederkommt, mit der großen Gruppe, die die Karte hat. Der Unterschied ist die echte Wirkung deines Programms. Beide Gruppen erleben alles andere gemeinsam: dasselbe Wetter, dieselbe Saison, dieselbe Baustelle vor der Tür.
Warum Vorher-Nachher dich täuscht
Der naheliegende Weg ist der Vergleich: Umsatz im Monat vor der Karte gegen Umsatz im Monat danach. Das Problem: Zwischen diesen Monaten hat sich nicht nur die Karte geändert.
Stell dir vor, du führst die Karte im März ein. Im April ist der Umsatz 12 Prozent höher. War das die Karte? Oder das erste warme Wochenende? Die Baustelle, die im März die Straße gesperrt hat? Der neue Bürokomplex, der im April eröffnet hat? Du kannst es nicht wissen.
Umgekehrt: Du führst die Karte im Oktober ein. Im November ist der Umsatz 5 Prozent niedriger. Hat die Karte geschadet? Wahrscheinlich nicht. Der November ist in vielen Branchen einfach schwächer. Vielleicht wäre er ohne Karte 10 Prozent schwächer gewesen. Auch das kannst du nicht wissen.
Der Vorher-Nachher-Vergleich vermischt die Wirkung deiner Maßnahme mit allem, was sonst noch passiert. Er ist keine Messung, sondern eine Vermutung.
Wie die Kontrollgruppe das löst
Die Idee ist simpel: Statt zwei Zeiträume zu vergleichen, vergleichst du zwei Gruppen im selben Zeitraum.
- Gruppe A (die Mehrheit): bekommt die Stempelkarte, die Push-Nachrichten, die Aktionen.
- Gruppe B (die Kontrollgruppe): bekommt nichts davon. Sie kauft ganz normal ein, wird aber genauso gezählt.
Beide Gruppen erleben denselben April mit demselben Wetter und derselben Baustelle. Wenn Gruppe A im April öfter wiederkommt als Gruppe B, dann liegt das nicht am Wetter. Das hatte Gruppe B auch. Es liegt an dem einen Unterschied zwischen den Gruppen: der Karte.
Das Entscheidende ist das Wort zufällig. Die Kontrollgruppe darf nicht aus den Kunden bestehen, die zufällig keine Karte wollten. Die sind vielleicht generell weniger interessiert. Sie muss per Zufall gezogen werden, damit beide Gruppen im Schnitt gleich sind: gleich viele Stammkunden, gleich viele Gelegenheitskunden, gleiche Altersmischung.
Mach den Selbsttest: Misst du ehrlich?
- Weißt du genau, wie viele zusätzliche Besuche deine Karte bringt?
- Kannst du ausschließen, dass der Umsatzanstieg am Wetter lag?
- Hast du eine Gruppe von Kunden, die keine Karte bekommt?
- Wird diese Gruppe zufällig ausgewählt, nicht nach Interesse?
- Wartest du mit dem ROI-Ergebnis, bis genug Daten da sind?
Wenn du mehr als zwei Fragen mit Nein beantwortet hast, misst du wahrscheinlich nicht, was deine Karte wirklich bringt.
Wie stampa den ROI mit einer Kontrollgruppe misst
Genau dieses Prinzip steckt in der ROI-Messung von stampa. So läuft es ab:
- Zufällige Auswahl. Etwa zehn Prozent der Kunden, die deinen QR-Code scannen, werden per Zufall der Kontrollgruppe zugeordnet. Sie bekommen keine Karte und keine Aktionen. Der Kunde merkt davon nichts.
- Beide Gruppen werden gezählt. Die Wiederkehr wird bei allen erfasst, ob mit oder ohne Karte.
- Vergleich der Wiederkehr. Nach einigen Wochen wird verglichen: Wie oft kommt die Kartengruppe zurück, wie oft die Kontrollgruppe? Der Unterschied sind die zusätzlichen Besuche, die die Karte gebracht hat.
- Umrechnung in Euro. Zusätzliche Besuche mal deinem Durchschnittsbon ergibt den zusätzlichen Umsatz. Das Dashboard zeigt es als X zusätzliche Besuche, etwa Y Euro.
- Nur, wenn es belastbar ist. Das Ergebnis wird erst angezeigt, wenn der Unterschied statistisch belastbar ist. Solange nicht genug Kunden und Wochen zusammengekommen sind, sagt stampa das ehrlich: Noch nicht genug Daten für ein sicheres Ergebnis.
Der letzte Punkt ist wichtig. Viele Tools zeigen von Tag eins irgendeine ROI-Zahl. Die ist mit zwanzig Kunden reiner Zufall. Eine ehrliche Messung wartet, bis sie sicher sein kann.
Was statistisch belastbar heißt, ohne Fachbegriffe
Stell dir vor, du wirfst eine Münze zehnmal und bekommst siebenmal Kopf. Ist die Münze gezinkt? Wahrscheinlich nicht. Sieben von zehn passiert bei einer fairen Münze regelmäßig. Wirfst du sie tausendmal und bekommst siebenhundertmal Kopf, ist die Münze fast sicher gezinkt.
Genau so ist es mit der Kontrollgruppe. Wenn 20 Kunden mit Karte im Schnitt 2,1 Mal wiederkommen und 3 Kunden ohne Karte 1,8 Mal, sagt das nichts. Bei so kleinen Zahlen kann ein einziger Kunde, der zufällig im Urlaub war, das Ergebnis kippen. Wenn 500 Kunden mit Karte 2,1 Mal kommen und 55 ohne Karte 1,8 Mal, ist der Unterschied ein echtes Ergebnis.
Statistisch belastbar oder signifikant heißt: Der Unterschied ist so groß und die Gruppen sind so groß, dass Zufall als Erklärung sehr unwahrscheinlich ist. Wie lange das dauert, hängt von deiner Kundenzahl ab. Ein Café mit hundert Karten pro Woche ist nach wenigen Wochen dort. Ein Nagelstudio mit zehn neuen Kunden pro Woche braucht Monate.
Ein Rechenbeispiel
Ein Café mit 600 aktiven Kunden. 540 haben die Karte, 60 sind in der Kontrollgruppe.
| Kartengruppe | Kontrollgruppe | |
|---|---|---|
| Kunden | 540 | 60 |
| Besuche pro Kunde in 8 Wochen | 5,4 | 4,5 |
| Unterschied pro Kunde | 0,9 Besuche | |
| Zusätzliche Besuche gesamt | 540 × 0,9 = 486 | |
| Bei 6 Euro Durchschnittsbon | rund 2.900 Euro |
Die Karte hat in acht Wochen etwa 486 zusätzliche Besuche gebracht, rund 2.900 Euro Umsatz. Davon gehen die eingelösten Belohnungen ab, sagen wir 100 Gratis-Kaffees zu 80 Cent Warenwert, also 80 Euro. Netto bleiben rund 2.800 Euro, die ohne Karte nicht da gewesen wären.
Ohne Kontrollgruppe hättest du diese Zahl nicht. Du hättest gesehen, dass der Umsatz gestiegen ist, aber nicht gewusst, ob es die Karte war oder der Frühling.
Der Preis der Messung
Die Kontrollgruppe kostet etwas: Zehn Prozent deiner Kunden bekommen die Karte nicht. Wenn die Karte wirkt, kommen sie deshalb etwas seltener. Im Beispiel oben sind das 60 Kunden mal 0,9 Besuche mal 6 Euro, also rund 320 Euro in acht Wochen.
Dafür bekommst du Gewissheit. Du weißt, ob die Belohnung sich lohnt. Ob die Push-Aktionen etwas bringen. Ob eine Änderung der Stempelzahl gewirkt hat. Wer diese Gewissheit nicht hat, gibt jahrelang Belohnungen aus, ohne zu wissen, ob sie etwas bewirken. Das kostet fast immer mehr als die Kontrollgruppe.
Was passiert, wenn du nichts änderst
Ohne Kontrollgruppe fliegst du blind. Du siehst, dass der Umsatz schwankt, aber nicht warum. Du änderst die Belohnung von 10 auf 8 Stempel, und der Umsatz steigt. War es die Änderung? Oder die Sommersaison? Du weißt es nicht. Also änderst du wieder zurück. Vielleicht fällt der Umsatz. War es die Rückänderung? Oder der Herbst? Du weißt es wieder nicht.
Das Ergebnis: Du drehst an Stellschrauben, ohne zu wissen, was sie bewirken. Du gibst Belohnungen aus, ohne zu wissen, ob sie sich lohnen. Und jede Woche gehen Stammkunden verloren, weil du nicht weißt, welche Aktion sie zurückgebracht hätte.
Wofür du das Prinzip noch nutzen kannst
Die Kontrollgruppe ist die Basis für jede ehrliche Messung. Dasselbe Prinzip steckt hinter dem A/B-Test (zwei Varianten einer Aktion laufen gegeneinander). Wie du damit Push-Nachrichten oder Belohnungen vergleichst, erklärt der Beitrag A/B-Test im kleinen Laden. Und welche Kennzahlen du neben dem ROI im Blick behalten solltest, steht im Artikel Treueprogramm messen: 7 Kennzahlen.
Fazit
Eine Kontrollgruppe ist eine zufällig gezogene kleine Gruppe von Kunden, die dein Treueprogramm nicht bekommt. Ihr Verhalten zeigt, was ohne Karte passiert wäre. Der Unterschied zur Kartengruppe ist die echte Wirkung. Das ist die einzige Messung, die Wetter, Saison und Zufall herausrechnet. stampa baut sie ein, vergleicht die Wiederkehr beider Gruppen und zeigt das Ergebnis erst, wenn es belastbar ist. Du kannst in fünf Minuten kostenlos starten und die Messung von Anfang an mitlaufen lassen – bis 100 aktive Kunden ohne Kreditkarte, ohne Risiko.