A/B-Test

Es gibt jede Menge Wege, einen A/B-Test falsch zu machen. Und das Schlimmste daran: Meistens merkst du nicht einmal, wie du Zeit und Geld verschwendest, wenn du bei den Basics patzt. Wenn du dich blind in die Optimierung stürzt, folgst du oft einer falschen Fährte – und diese Fehler wieder glattzubügeln, kann dauern. Für wirklich hilfreiche, aussagekräftige und valide Testergebnisse brauchst du einen Plan. Wir verraten dir, welche goldenen Regeln besonders wichtig sind, um einen guten A/B-Test auf die Beine zu stellen! 

1. Ohne saubere Conversion-Research geht gar nichts

Bevor du überhaupt mit dem A/B-Test loslegst, musst du wissen, wo Schwachstellen und Probleme aus Nutzersicht liegen.
Du brauchst also Daten und User Insights, um beispielsweise die folgenden Fragen beantworten zu können:

  • An welchen Stellen der Website gehen potenzielle Umsätze verloren?
  • Wo liegen Usability Probleme die mehr Conversions verhindern?
  • Welche Zweifel und Bedenken haben potenzielle Kunden?
  • Welche Elemente lenken User ab?
  • Wie verhalten sich User auf der Seite? Wo klicken User, wo nicht?
  • Warum verhalten sie sich so, wie sie sich verhalten?

Datengetriebene Conversion-Research hat das Ziel, dass WAS, WIE und WARUM deiner User zu verstehen. Der Test selbst stellt bestimmte Variablen in den Vordergrund. Aber ohne das Wissen über die grundsätzlichen Bedürfnisse und Probleme deiner Zielgruppe kommst du gar nicht erst so weit. Woher sollst du wissen, was du verbessern sollst, wenn du die Probleme und Schwachstellen aus Nutzersicht nicht kennst? Deswegen musst du vorher herausfinden, wo der Schuh drückt.

Es gibt einige Methoden, um die Conversion-Research sauber und effizient durchzuführen:

  • Usertesting
  • Session Replays
  • Clickmaps
  • Scrollmaps
  • Google Analytics
  • Kundeninterviews
  • Crossbrowsertesting
  • Kundensupport Interviews
  • Persona Analyse
  • Heuristik Analyse
  • Onsite User Surveys
  • Customer Surveys

Wenn du es wirklich ordentlich machen willst, raten wir dir zu einem Mix aus verschiedenen Methoden. Der Schlüssel liegt hier in der Verknüpfung der Methoden, um valide Insights zu erhalten. Der erste Schritt zu einem A/B-Test ist die umfassende Vorbereitung. So stößt du auf tatsächlich existierende Probleme, die deine Kunden haben. Und das ist der Schlüssel dazu, diese Probleme zu lösen.

2. Erstelle Testing-Hypothesen

Nach der CRO-Research solltest du einen klaren Optimierungsplan haben, wo die Schwachstellen deiner Webseite liegen und welche unterschiedlichen Lösungskonzepte es gibt. Jetzt kann es an die Optimierung gehen! Der A/B-Test ist eine fantastische Methode, um deine Theorien zur Verbesserung in der Praxis auszuprobieren. Aber ebenso wie bei der Vorarbeit solltest du nicht einfach blind drauflostesten. Deine Tests sollten einem klaren Fahrplan folgen. Du musst wissen, was du mit Änderung X eigentlich erreichen willst.

Eine Testing-Hypothese fasst deine grundsätzliche Idee für eine Veränderung in Worte. Ein Hypothese in der Conversion-Optimierung könnte so aussehen:

  • Durch: die Reduzierung der Schritte im Checkout (Maßnahme)
  • Wird/Werden: weniger Nutzer abbrechen (Änderung)
  • Gemessen an: mehr abgeschlossenen Bestellungen (Conversion)

3. Prioritäten setzen: Aufwand und Nutzen bei A/B-Tests

Du hast jetzt durch die CRO-Research einige Ideen, welche Baustellen es gibt. Deine Testing-Hypothesen verraten dir, was du an diesen Problemen ändern könntest. Jetzt musst du nur noch wissen, wo du anfangen sollst.

Um einen Anfang zu finden und dich nicht zu übernehmen, musst du deine Hypothesen und A/B Tests priorisieren. Du kannst schließlich auch im normalen Arbeitsalltag nicht alles gleichzeitig machen!

Hier ein paar Faktoren die in deine Priorisierung definitiv einfließen sollten:

  • Trafficvolumen der jeweiligen Seite
  • Einfachheit in der Umsetzung
  • Business Impact

Um herauszufinden, welche Tests und Änderungen die höchste Priorität haben, solltest du sie in bestimmte Kategorien einteilen. Schau dir an, wie kompliziert die Änderung ist, wie dringend du diese Baustelle bearbeiten solltest (zum Beispiel, weil die Inhalte above the fold liegen und daher immer sichtbar sind) und wie viele Nutzer diese Variable täglich sehen. Danach erstellst du eine Liste nach diesen Regeln:

  1. Dringend und leicht zu ändern
  2. Dringend und aufwendig zu ändern
  3. Mittelfristig wichtig und leicht zu ändern
  4. Mittelfristig wichtig und komplex zu ändern

Natürlich gibt es noch viel mehr Ebenen, nach denen du eine Kategorisierung vornehmen kannst.

4. Kontrastreich ist besser: Teste nicht jede Kleinigkeit!

Neben der Priorisierung nach Dringlichkeit und Komplexität gibt es noch einen anderen Aspekt den du bei der Planung deines A/B-Tests berücksichtigen solltest: Was änderst du überhaupt?

Ein A/B-Test funktioniert so: 50 Prozent deiner Seitenbesucher bekommen Variante A ausgespielt, die anderen 50 Prozent bekommen Variante B zu Gesicht. Am Ende kannst du überprüfen, welche Variante besser performt.

Diese Punkte sollten die beiden Seitenvariationen abhaken:

  • Der User könnte den Unterschied innerhalb weniger Sekunden erkennen, wenn er beide Seitenvarianten nebeneinander sieht.
  • Die beiden Variablen ähneln sich nicht zu sehr, aber genug, damit die Veränderung der Conversionrate wirklich auf diesen Aspekt zurückzuführen ist.
  • Nimmt der Durchschnittsuser überhaupt wahr, dass eine Änderung stattgefunden hat?
  • Drehen sich die Änderungen um denselben Aspekt der Webseite?

Du solltest also nicht nur beachten, wie einfach und dringend eine Änderung ist. Auch der potenzielle Impact sollte in deiner Planung zur Sprache kommen. Es ist sicherlich sinnvoller, zuerst die A/B-Tests anzugehen, die einen großen Einfluss auf deinen potenziellen Umsatz haben, wie der Checkout oder die Landing Page.

5. Ein bisschen Mathe schadet nie: Signifikanz und wie du sie ermittelst

Fast geschafft! Du weißt jetzt, was du testen willst, warum du es testen willst und was du nach dem Test tun wirst. Die Fragezeichen in der Formel haben sich aufgeklärt. Aber es gibt noch eine große Unbekannte: Den Traffic. Du kannst dir sicher vorstellen, dass du für einen aussagekräftigen A/B-Test einige Nutzer brauchst, die deine Seitenvarianten durchspielen. Schließlich sollen deine Ergebnisse statistische Signifikanz haben und nicht an einer handvoll Webseitengäste hängen! Der Zufallsfaktor wäre viel zu hoch, wenn nur drei oder vier Personen deine Seite durchlaufen und sich dann für oder gegen eine Handlung entscheiden.

Die Lösung: Genug Traffic und Conversions für die jeweilige Seite an der du testest! Dein Ziel ist es, ein Signifikanzniveau von 90 oder 95 Prozent in deiner berechneten Testlaufzeit zu erreichen. Das bedeutet, dass es zu 90 oder 95 Prozent sicher ist, dass die Änderungen im A/B-Test verantwortlich für die Veränderung in der Conversionrate waren und kein Produkt des Zufalls.

6. Vergesse nie, absolut NIE, den Cross-Browser-Test

Du hast einen bildschönen A/B-Test gebaut. Die Hypothesen stehen, deine Änderungen sind kontrastreich und du bist zuversichtlich, genug relevanten Traffic zu erzielen, um deine Ergebnisse valide werden zu lassen. Alles ist gut.

Jetzt gibt es nur noch ein Problem: Dein neues Feature sieht zwar bei Firefox und Chrome richtig gut aus, aber der Internet Explorer zerstört das frische Layout. Das Ergebnis: Radikal unterschiedliche Ergebnisse bei den verschiedenen Browsertypen. Mit etwas Glück fällt dir dieser Zusammenhang auf, bevor du die eigentlich gute und sinnvolle Änderung aus dem Fenster wirfst.

Sprich: Verzichte niemals auf den Cross-Browser-Test, bevor du mit dem AB-Test loslegst! Dabei checkst du, ob deine Änderungen in allen relevanten Browsern, Browserversionen und Geräten exakt gleich aussehen. Nur eine konsistente Nutzererfahrung bringt wirklich belastbare Daten für dich.

7. Ab auf die Zielgerade: Wissen, wann der Test vorbei ist

Umso länger dein Test läuft, umso höher die Gefahr der unsauberen Testdaten. Wir empfehlen dir deinen Test nie länger als 4 Wochen laufen zu lassen. Berechne vorher exakt wie lange dein Test laufen muss und schalte ihn dann ab.

Warum nie länger als 4 Wochen?

  • Gefahr 1: Die Wahrscheinlichkeit steigt, je länger dein Test läuft, dass User ihre Cookies löschen und dann in einer anderen Testvariante landen. Umso länger der Test, umso höher die Gefahr!
  • Gefahr 2: User verwenden zunehmend verschiedene Geräte und können dann in einer anderen Testvariante landen
  • Gefahr 3: User verwenden verschiedene Browser und jedes mal wird ein neuer Cookie gesetzt, was dazu führen kann, dass sie in einer anderen Testvariante landen

Fazit:

Wir haben ja schon oft darauf hingewiesen, dass es nichts bringt, sich blind in die Conversion-Optimierung zu stürzen. Du solltest einen klaren Plan haben und wissen, wohin die Reise geht. Für den A/B-Test als Unterkategorie von CRO gilt dasselbe: Statt einfach munter draufloszutesten, ist Köpfchen gefragt. Ohne eine Analyse der Problemstellen und eine umfassende Vorbereitung bringt ein Test nicht viel. Klar, du kannst direkt auf Gold stoßen. Aber genauso wahrscheinlich ist es, in eine ganz falsche Richtung zu optimieren. Besser: Vorher Gedanken machen und hinterher die Qualität prüfen! Nur so kommst du an Ergebnisse, mit denen du etwas anfangen kannst.


Zusammenfassung

  • Vor einem A/B-Test steht eine ausführliche Analyse der Nutzerdaten.
  • Für jede Variable erstellst du Testing-Hypothesen, die deinen Versuchsaufbau in klare Worte fassen.
  • Die Variablen, die du testest, sollten trennscharf und relevant genug sein, um wirklich valide Daten zu erzeugen.
  • Die Test-Statistik hat im Idealfall eine Signifikanzquote von mehr als 95 Prozent. 
  • Ohne Qualitätskontrolle in Form von Benchmarks oder regelmäßigen Tests startest du keine weiteren Testrunden.

Wie gehst du bei einem A/B-Test vor? Lasse es uns in den Kommentaren wissen!

0 Kommentare

Hinterlasse ein Kommentar

An der Diskussion beteiligen?
Hinterlasse uns deinen Kommentar!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.