Die Attribution sagt dir, welcher Kanal eine Conversion zugeschrieben bekommt. Aber löst der Kanal die Conversion wirklich aus, oder wäre sie auch so passiert? Inkrementalitätstests beantworten das mit Experimenten: Du zeigst einem Teil der Nutzer den Kanal (Testgruppe), anderen nicht (Kontrollgruppe) und misst den Unterschied bei der Conversion-Rate. Der Unterschied ist der echte inkrementelle Effekt. Dieses Kapitel zeigt Inkrementalitätstests und wann du sie einsetzt.
Attribution oder Inkrementalität
Attribution: Welcher Kanal hat die Personen, die konvertiert haben, zuletzt erreicht? Einfach zu messen, beweist aber keine Kausalität.
Inkrementalität: Wie viel Umsatz würden wir verlieren, wenn wir diesen Kanal ganz abschalten? Das beweist Kausalität und misst den echten Effekt.
Beispiel: 100 Personen haben konvertiert. Nach Last-Click bekommt Google Ads bei 60 den Erfolg zugeschrieben. Ein Inkrementalitätstest zeigt aber: Ohne Google Ads hätten 50 dieser 60 trotzdem konvertiert (über andere Kanäle). Die echte Inkrementalität von Google Ads liegt bei 10 Conversions, nicht bei 60.
Arten von Inkrementalitätstests
Test nach Regionen
Schalte Anzeigen in manchen Regionen (Testgruppe), in anderen nicht (Kontrollgruppe). Vergleiche die Conversion-Raten. Beispiel: Schalte Google Ads in San Francisco (Test), aber nicht in Berkeley (Kontrolle). Hat San Francisco die höhere Conversion-Rate, sind die Anzeigen inkrementell.
Vorteil: einfach, schnell. Nachteil: Unterschiede zwischen den Regionen können das Ergebnis verzerren (San Francisco ist wohlhabender, was die Conversion-Rate nach oben treibt).
Holdout-Gruppen
Schalte Anzeigen für alle ausser für zufällige 10 % (Kontrolle). Vergleiche die Conversion-Raten: Nutzer mit Anzeigenkontakt gegenüber Holdout-Nutzern. Der Unterschied ist die Inkrementalität.
Vorteil: genau, kontrolliert Störfaktoren. Nachteil: braucht ein grosses Budget (du sprichst 10 % deiner Zielgruppe bewusst nicht an, um die Wirkung zu messen).
Test nach Zeiträumen
Schalte Anzeigen in manchen Zeiträumen (Test), in anderen nicht (Kontrolle). Beispiel: Schalte bezahlte Suche von Montag bis Donnerstag, aber nicht von Freitag bis Sonntag. Vergleiche die Conversion-Raten. Ist sie von Montag bis Donnerstag höher, sind die Anzeigen inkrementell.
Vorteil: einfach. Nachteil: Störfaktor Wochentag (am Wochenende ist die Conversion-Rate von Natur aus niedriger).
Einen Inkrementalitätstest durchführen
Schritt 1: Formuliere eine Hypothese. „Google Ads bringt über die Basis hinaus inkrementelle Conversions.“
Schritt 2: Wähle die Testart. Holdout-Gruppen sind am genauesten. Nimm sie, wenn das Budget es erlaubt.
Schritt 3: Lege die Grösse des Tests fest. Du brauchst genug Stichprobe, um einen Unterschied zu erkennen. Liegt die Basis-Conversion bei 5 % und du willst einen Anstieg um 2 % erkennen, brauchst du ungefähr 10.000 pro Gruppe. Frage einen Statistiker oder nutze einen Rechner für die Teststärke.
Schritt 4: Lass den Test 2 bis 4 Wochen laufen. Längere Tests verringern die Schwankung durch tägliche Ausschläge.
Schritt 5: Werte die Ergebnisse aus. Ist der Unterschied statistisch signifikant? (p < 0,05). Wenn ja, hast du die Inkrementalität bewiesen.
Herausforderungen bei Inkrementalitätstests
Kosten: Holdout-Gruppen bedeuten, bewusst auf Umsatz zu verzichten (wir sprechen 10 % unserer Zielgruppe nicht an). Das lohnt sich nur bei Kanälen mit hohen Ausgaben, bei denen die Erkenntnis wertvoll ist.
Kannibalisierung: Sieht ein Nutzer deine Anzeige nicht, nutzt er vielleicht stattdessen die organische Suche oder kommt direkt. Die Inkrementalität erfasst das (es steckt im Verhalten der Kontrollgruppe).
Langfristige Effekte: Anzeigen können einen Markeneffekt haben, der erst Tage oder Wochen später sichtbar wird. Die meisten Tests sind kurzfristig und übersehen langfristige Wirkungen.
Wie entscheide ich, ob ich einen Inkrementalitätstest durchführe?
Inkrementalität ist teuer (der Holdout kostet Geld). Teste bei: Kanälen mit hohen Ausgaben (Google Ads, Facebook Ads), unklarer Attribution und grossen Budgetentscheidungen. Teste nicht bei: kleinen Kanälen und klarer Attribution. Budget: 10.000 bis 50.000 $ und mehr pro Test. Spare ihn dir für die Fragen mit der grössten Wirkung auf.
Welche Stichprobengrösse brauche ich für einen Inkrementalitätstest?
Das hängt von der Basis-Conversion-Rate und dem Anstieg ab, den du erkennen willst. Faustregel: 5.000 bis 10.000 pro Gruppe (Kontroll- und Testgruppe). Liegt die Basis bei 5 % und du willst einen Anstieg um 2 % erkennen (neue Rate 7 %), brauchst du ungefähr 10.000 pro Gruppe. Nutze einen Rechner für die Teststärke (suche nach „statistical power calculator“), um die genaue Zahl für dein Szenario zu bekommen.
Wie lange sollte ich einen Inkrementalitätstest laufen lassen?
Mindestens 2 bis 4 Wochen (damit sich tägliche Schwankungen ausgleichen). 4 bis 8 Wochen sind besser (sie erfassen Wochenmuster). Längere Tests kosten mehr, sind aber verlässlicher. Dauert dein Verkaufszyklus 30 Tage, lass den Test mindestens 30 Tage laufen, um den ganzen Zyklus zu erfassen.
Kann ich mit Inkrementalitätstests Kanalinteraktionen messen (wie ein Kanal einem anderen hilft)?
Ja, aber das ist aufwendiger. Testaufbau: (1) Kontrolle (keine Kanäle), (2) Test A (nur Kanal A), (3) Test B (nur Kanal B), (4) Test A+B (beide Kanäle). Vergleiche die Ergebnisse. Ist A+B > A + B, gibt es eine Synergie. Das verlangt grössere Stichproben und eine komplexere Analyse.
Was ist der Unterschied zwischen einer Holdout-Gruppe und einer Kontrollgruppe?
Holdout: der Teil deines Kundenstamms, der den Kanal bewusst nicht sieht. Kontrollgruppe: in einem Experiment die Gruppe, die keine Behandlung bekommt (zum Vergleich). Das Konzept ist dasselbe, nur die Bezeichnung unterscheidet sich. Der Holdout läuft dauerhaft (laufende Holdout-Gruppe), die Kontrollgruppe gilt für die Dauer eines bestimmten Tests.
Wie präsentiere ich Ergebnisse von Inkrementalitätstests der Geschäftsführung?
Zeige: Basis-Conversion (5 %), Test-Conversion (6 %), Anstieg (1 Prozentpunkt, 20 % relativer Zuwachs). Zeige das Konfidenzintervall: Der Anstieg liegt bei 0,5 bis 1,5 Prozentpunkten (in diesem Bereich sind wir sicher). Folgen fürs Budget: Liegt die Inkrementalität 20 % unter dem, was die Attribution behauptet hat, rechne den ROI neu. So rechtfertigst du die Testkosten mit besseren Entscheidungen.