Schritt eins: Formuliere die Hypothese konkret
Eine vage Hypothese scheitert
Nicht so: Den Checkout zu ändern verbessert die Conversion.
Eine konkrete Hypothese gewinnt
Besser so: Wir vermuten, dass ein einseitiges Formular statt eines Checkouts mit fünf Schritten die abgeschlossenen Käufe um mindestens drei Prozent erhöht, weil Kunden abbrechen, wenn das Formular lang wirkt.
Eine Hypothese sollte festhalten: Was du änderst. Warum du glaubst, dass es hilft. Welche Kennzahl sich verbessern soll. Und um wie viel.
Eine vage Hypothese führt zu vagen Ergebnissen. Eine konkrete Hypothese ist testbar.
Schritt zwei: Bestimme die Stichprobengrösse vor dem Start
Die Rechnung zählt
Wie viele Besucher brauchst du, um einen echten Unterschied zu sehen?
Faustregel: Du brauchst mindestens fünfhundert Conversions pro Variante. Bei zwei Versionen sind das tausend insgesamt.
Berechne die Testdauer
Wenn du mit zwei Prozent konvertierst und zweitausend Besucher pro Monat hast, bekommst du vierzig Conversions pro Monat. Bis zu fünfhundert Conversions dauert es zwölf Monate. Der Test wird nicht rechtzeitig fertig.
Wenn du mit zehn Prozent konvertierst und fünftausend Besucher pro Monat hast, bekommst du fünfhundert Conversions pro Monat. Bis zu tausend dauert es zwei Monate. Der Test ist schnell fertig.
Kenne deinen Zeitplan von Anfang an
Websites mit niedriger Conversion Rate brauchen längere Tests. Websites mit hoher Conversion Rate sind schneller fertig.
Nutze einen Rechner für die Stichprobengrösse. Gib deine Conversion Rate und deinen Traffic ein. Der Rechner sagt dir, wie lange der Test dauert.
Wenn der Test länger als drei Monate dauert, frag dich: Ist die Änderung drei Monate Warten wert? Oder sollten wir etwas anderes testen, das schneller fertig wird?
Schritt drei: Lege die Verteilung des Test-Traffics fest
Fifty-fifty ist der Standard
Gib fünfzig Prozent an die Kontrollversion. Fünfzig Prozent an die Variante.
Vorsichtige Verteilung bremst die Ergebnisse
Manche verteilen neunzig zu zehn. Neunzig Prozent gehen an die aktuelle gute Version, zehn Prozent an die neue Version, bei der sie unsicher sind. Das ist vorsichtig, bremst aber den Test.
Fifty-fifty ist der Standard. Es liefert die schnellsten Ergebnisse.
Schritt vier: Lege die Testdauer vor dem Start fest
Halte dich an den Zeitplan
Mindestens eine Woche. Zwei Wochen sind Standard. Einen Monat für Websites mit sehr viel Traffic.
Entscheide die Dauer nicht während des Tests. Entscheide vorher. Schreib sie auf. Halte dich daran.
Frühes Nachschauen ruiniert Tests
Frühes Nachschauen ruiniert Tests. Du prüfst die Ergebnisse nach einer Woche. Es sieht aus, als gewinne die Variante. Du stoppst den Test. Du setzt sie um. Später merkst du, dass die Ergebnisse nicht echt waren. Du hast etwas umgesetzt, das in Wirklichkeit nicht funktioniert.
Lass den Test die volle Dauer laufen.
Schritt fünf: Setze die Änderung in der Variante um
Nur eine Änderung
Nur eine Änderung. Nicht mehrere Änderungen.
Wenn du die Vereinfachung des Checkouts testest, vereinfache das Formular. Ändere nicht gleichzeitig Farbe, Text und Layout. Immer nur eine Variable.
Mach den Unterschied deutlich
Die Änderung sollte offensichtlich sein. Besucher sollten den Unterschied bemerken. Ist die Änderung so subtil, dass Besucher sie nicht sehen, funktioniert der Test nicht.
Schritt sechs: Richte den Test im Tool ein
Wähle deine Plattform
Nutze eine Test-Plattform. . . .
Installieren und konfigurieren
Verbinde das Tool mit deiner Website. Installiere den Tracking-Code. Das ist meist eine Zeile Code oder die Installation eines Plugins.
Versionen und Kennzahlen anlegen
Lege die Kontrollversion an. Das ist die aktuelle Version.
Lege die Variante an. Setze deine Änderung um.
Lege die Verteilung des Traffics fest. Je fünfzig Prozent.
Lege die Dauer fest. Zwei Wochen oder so lange, wie du es berechnet hast.
Lege die Erfolgskennzahl fest. Was misst du? Abgeschlossene Checkouts. Formularübermittlungen. Scrollen auf der Seite.
Schritt sieben: Lass den Test laufen, ohne nachzuschauen
Widerstehe dem Drang
Das ist schwer. Widerstehe dem Drang, die Ergebnisse zu prüfen.
Ergebnisse nach wenigen Tagen sagen nichts aus. Bei kleiner Stichprobe ist der Zufall riesig. Du siehst Ergebnisse, die später wieder verschwinden.
Stelle dir eine Kalendererinnerung
Prüfe die Ergebnisse genau am Enddatum. Nicht davor.
Stelle eine Kalendererinnerung für das Testende ein. Prüfe dann.
Schritt acht: Werte die Ergebnisse richtig aus
Achte auf statistische Signifikanz
Der Test ist fertig. Du schaust dir die Ergebnisse an. Die Variante hat mit elf Prozent konvertiert. Die Kontrollversion mit zehn Prozent. Die Variante ist besser. Richtig?
Aber war es statistisch signifikant? Ist das echt oder Zufall?
Schau auf das Konfidenzintervall oder den p-Wert. Es sollten mehr als fünfundneunzig Prozent Konfidenz sein oder ein p-Wert unter null Komma null fünf.
Was statistische Signifikanz bedeutet
Wenn die statistische Signifikanz Ja sagt, ist das Ergebnis echt. Setze die Variante um.
Wenn die statistische Signifikanz Nein sagt, ist das Ergebnis unklar. Es könnte Zufall sein. Es könnte echt sein, aber mehr Zeit gebraucht haben. Lass den Test länger laufen oder probiere eine andere Änderung.
Schritt neun: Umsetzen und dokumentieren
Wenn die Variante gewinnt
Wenn die Variante gewinnt, setze sie dauerhaft um.
Dokumentiere, was du gelernt hast. Warum du dachtest, dass es funktioniert. Was passiert ist. Was du als Nächstes testest.
Baue ein Playbook auf. Mit der Zeit zeigen sich Muster. Du lernst, was bei deiner Zielgruppe funktioniert.
Wenn die Kontrollversion gewinnt
Wenn die Kontrollversion gewinnt, mach die Änderung rückgängig.
Dokumentiere, warum die Kontrollversion gewonnen hat. Vielleicht war deine Hypothese falsch. Vielleicht war die Änderung nicht auffällig genug. Vielleicht mochte die Zielgruppe die Änderung nicht.
Ein verlorener Test ist trotzdem Lernen.
Typische Fehler beim ersten Test
Der Test läuft zu kurz
Nach einer Woche wirst du ungeduldig. Du stoppst. Die Ergebnisse sind noch nicht echt.
Mehrere Änderungen auf einmal testen
Du hast Formular, Button und Text geändert. Das Formular gewinnt, aber war es das Formular oder der Button? Jetzt weisst du es nicht.
Keine Anforderung an die Signifikanz
Die Variante ist ein Prozent besser. Das könnte Zufall sein. Du setzt sie um. Später hält es nicht stand.
Auf allen Besuchern testen
Du bist nervös wegen der Änderung. Du testest mit neunzig Prozent aktuell und zehn Prozent neu. Der Test dauert ewig.
Die Umsetzung nicht durchziehen
Der Test ist fertig. Die Variante gewinnt. Du sagst, wir setzen es später um. Du tust es nie. Der Test hat keinen Wert geschaffen.
Was Gewinner vom Rest unterscheidet
Nicht klügeres Testen
Nicht klügeres Testen. Konsequentes Testen.
Das Muster der Gewinner
Gewinner-Unternehmen führen einen Test durch. Die Ergebnisse kommen. Sie setzen sofort um. Sie starten den nächsten Test.
Sie verpflichten sich zu einem Testprogramm. Nicht zu einzelnen Tests. Dauerhaft testen. Monat für Monat.
Sie bauen internes Wissen auf. Nach fünfzig Tests kennen sie ihre Zielgruppe. Sie wissen, was funktioniert. Sie wissen, was nicht. Sie sind schneller als die Konkurrenz.
Wachstum mit Zinseszins
Teste einmal, und nichts passiert. Teste fünfzigmal, und alles ändert sich.
Häufig gestellte Fragen
Was, wenn ich mitten im Test merke, dass er kaputt ist? Zum Beispiel, weil das Tracking ausgefallen ist. Sollte ich neu starten?
Ja. Ein kaputter Test ist nutzlos. Starte neu. Wenn das Tracking defekt ist, hast du keine echten Daten. Deshalb prüfst du den Test zwischendurch (nicht zwanghaft, aber mindestens einmal). So erkennst du Probleme früh. Mit dem Website-Builder von WEMASY richtest du das direkt auf deiner Website ein.
Kann ich meine Hypothese ändern, während der Test läuft, wenn neue Informationen auftauchen?
Nein. Schreibe die Hypothese vor dem Teststart auf. Halte dich daran. Wenn die Hypothese mitten im Test falsch erscheint, notiere das. Beende den Test aber mit der ursprünglichen Hypothese. Starte später einen neuen Test mit einer neuen Hypothese.
Wenn die Variante eindeutig schlechter ist, kann ich den Test früher beenden?
Nur wenn sie etwas kaputt macht. Wenn die Variante Fehler verursacht, stoppe. Sonst nicht. Auch wenn sie deutlich zurückliegt, lass die volle Dauer laufen. Lerne, warum sie verloren hat. Nutze dieses Wissen.
Was tue ich, wenn die statistische Signifikanz Nein sagt, ich das Ergebnis aber für echt halte?
Führe den Test erneut durch. Gleiche Änderung. Aber mit längerer Dauer oder mehr Traffic. Wenn das Ergebnis echt ist, zeigt es sich wieder. Wenn nicht, lag deine Intuition falsch und die Mathematik richtig.
Woher weiss ich in den Ergebnissen, welche Version die Kontrollversion und welche die Variante ist?
Dein Test-Tool beschriftet sie. Stelle sicher, dass du vor dem Start weisst, was was ist. Mach einen Screenshot. Die Kontrollversion ist Version A. Die Variante ist Version B. Wenn die Ergebnisse kommen, schau in deine Notizen.
Muss ich meinem Chef oder meiner Chefin sagen, dass ich Tests durchführe, oder zeige ich nur die Ergebnisse?
Sag es. Dann versteht dein Chef oder deine Chefin, dass Testen Zeit braucht. Setze Erwartungen. Der Test dauert zwei Wochen. Wenn die Variante gewinnt, setzen wir sie um. Wenn nicht, probieren wir etwas anderes. Transparenz verhindert Überraschungen, wenn du eine Änderung nicht umsetzt, die erwartet wurde.