A/B-Test

Es gibt jede Menge Wege, einen A/B-Test falsch zu machen. Und das Schlimmste daran: Meistens merkst du nicht einmal, wie du Zeit und Geld verschwendest, wenn du bei den Basics patzt. Wenn du dich blind in die Optimierung stürzt, folgst du oft einer falschen Fährte – und diese Fehler wieder glattzubügeln, kann dauern. Für wirklich hilfreiche, aussagekräftige und valide Testergebnisse brauchst du einen Plan. Wir verraten dir, welche goldenen Regeln besonders wichtig sind, um einen guten A/B-Test auf die Beine zu stellen! 

1. Ohne saubere CRO-Research geht gar nichts

Bevor du überhaupt mit dem A/B-Test loslegst, brauchst du Daten. Daten über deine Nutzer: Wie verhalten sie sich auf der Webseite? Welche Hindernisse müssen sie überwinden? Warum verhalten sie sich so, wie sie sich verhalten?

Jetzt denkst du dir vielleicht „Wenn ich das alles schon weiß, muss ich ja nichts mehr testen!“

Du sollst ja auch nicht hellsehen. Wenn du das könntest, bräuchtest du wirklich keine Testing-Algorithmen mehr. Datengetriebene CRO-Research dreht sich um alles, was vor dem A/B-Test passiert. Der Test selbst stellt bestimmte Variablen in den Vordergrund. Aber ohne das Wissen über die grundsätzlichen Bedürfnisse und Probleme deiner Zielgruppe kommst du gar nicht erst so weit. Woher sollst du wissen, was du verbessern sollst, wenn du die Probleme nicht kennst? Deswegen musst du vorher herausfinden, wo der Schuh drückt.

Es gibt einige Methoden, um die CRO-Research sauber und effizient umzusetzen:

  • Usertesting
  • Mousetracking & Heatmaps
  • Conversionframeworks
  • Surveys
  • Google Analytics
  • Kundeninterviews

Wenn du es wirklich ordentlich machen willst, raten wir dir zu einem Mix aus verschiedenen Methoden. Der erste Schritt zu einem A/B-Test ist die umfassende Vorbereitung. So stößt du auf tatsächlich existierende Probleme, die deine Kunden haben. Und das ist der Schlüssel dazu, diese Probleme zu lösen.

2. Erstelle Testing-Hypothesen, die wirklich funktionieren!

Nach der CRO-Research solltest du ein gutes Gefühl dafür haben, wo die Schwachstellen deiner Webseite liegen. Jetzt kann es an die Optimierung gehen! Der A/B-Test ist eine fantastische Methode, um deine Theorien zur Verbesserung in der Praxis auszuprobieren. Aber ebenso wie bei der Vorarbeit solltest du nicht einfach blind drauflostesten. Deine Tests sollten einem klaren Fahrplan folgen. Du musst wissen, was du mit Änderung X eigentlich erreichen willst.

Achtung: A/B-Tests sind keine Bugfixes! Um kleine Fehler oder Codeprobleme an der Webseite zu eliminieren, musst du keine umfassenden Analysen und Hypothesen schreiben. Wenn es am Page Speed hakt oder der Checkout nicht richtig funktioniert, kannst du das einfach fixen. A/B-Tests kommen immer dann zum Einsatz, wenn es nicht ganz klar ist, welche Maßnahme die bessere Alternative für deine Zielgruppe ist.

Eine Testing-Hypothese fasst deine grundsätzliche Idee für eine Veränderung in Worte. Ein Hypothese in der Conversion-Optimierung könnte so aussehen:

  • Durch: die Reduzierung der Schritte im Checkout (Maßnahme)
  • Wird/Werden: weniger Nutzer abbrechen (Änderung)
  • Gemessen an: mehr abgeschlossenen Bestellungen (Conversion)

Du willst mehr über Testing-Hypothesen lernen? Unser Artikel verrät dir, wie du gute Hypothesen erstellst, überprüfst und zur Anwendung bringst. 

3. Prioritäten setzen: Aufwand und Nutzen bei A/B-Tests

Du hast jetzt durch die CRO-Research einige Ideen, welche Baustellen es gibt. Deine Testing-Hypothesen verraten dir, was du an diesen Problemen ändern könntest. Jetzt musst du nur noch wissen, wo du anfangen sollst.

Viele Webseitenbesitzer sehen den Wald vor lauter Bäumen nicht. Überall Probleme! Oder noch schlimmer: Überall kleine Problemchen – alle für sich genommen nicht dramatisch, aber im Zusammenspiel ein negativer Einfluss auf den Umsatz und die Conversionrate. Um einen Anfang zu finden und dich nicht zu übernehmen, musst du die Punkte auf deiner To-Do-Liste priorisieren. Du kannst schließlich auch im normalen Arbeitsalltag nicht alles gleichzeitig machen! Beim A/B-Test kommt noch ein weiterer Faktor hinzu: Du solltest nicht zu viele Variablen gleichzeitig verändern. Sogenannte multivariate Tests sind nur etwas für Experten. Es kann dabei nämlich passieren, dass du nicht mehr weißt, welcher Arbeitsschritt und welche Änderung wie viel Einfluss auf das Gesamtbild hat.

Um zu herauszufinden, welche Tests und Änderungen die höchste Priorität haben, solltest du sie in bestimmte Kategorien einteilen. Schau dir an, wie kompliziert die Änderung ist, wie dringend du diese Baustelle bearbeiten solltest (zum Beispiel, weil die Inhalte above the fold liegen und daher immer sichtbar sind) und wie viele Nutzer diese Variable täglich sehen. Danach erstellst du eine Liste nach diesen Regeln:

  1. Dringend und leicht zu ändern
  2. Dringend und aufwendig zu ändern
  3. Mittelfristig wichtig und leicht zu ändern
  4. Mittelfristig wichtig und komplex zu ändern

Natürlich gibt es noch viel mehr Ebenen, nach denen du eine Kategorisierung vornehmen kannst.

4. Kontrastreich ist besser: Teste nicht jede Kleinigkeit!

Neben der Priorisierung nach Dringlichkeit und Komplexität gibt es noch einen anderen Aspekt den du bei der Planung deines A/B-Tests berücksichtigen solltest: Was änderst du überhaupt?

Ein A/B-Test funktioniert so: 50 Prozent deiner Seitenbesucher bekommen Variante A ausgespielt, die anderen 50 Prozent bekommen Variante B zu Gesicht. Am Ende kannst du überprüfen, welche Variante besser performt.

Diese Punkte sollten die beiden Seitenvariationen abhaken:

  • Der User könnte den Unterschied innerhalb weniger Sekunden erkennen, wenn er beide Seitenvarianten nebeneinander sieht.
  • Die beiden Variablen ähneln sich nicht zu sehr, aber genug, damit die Veränderung der Conversionrate wirklich auf diesen Aspekt zurückzuführen ist.
  • Nimmt der Durchschnittsuser überhaupt wahr, dass eine Änderung stattgefunden hat?
  • Drehen sich die Änderungen um denselben Aspekt der Webseite?

Du solltest also nicht nur beachten, wie einfach und dringend eine Änderung ist. Auch der potenzielle Impact sollte in deiner Planung zur Sprache kommen. Es ist sicherlich sinnvoller, zuerst die A/B-Tests anzugehen, die einen großen Einfluss auf deinen potenziellen Umsatz haben, wie der Checkout oder die Landing Page. Erst danach geht es ans Feintuning beim Design oder beim Inhalt.

5. Ein bisschen Mathe schadet nie: Signifikanz und wie du sie ermittelst

Fast geschafft! Du weißt jetzt, was du testen willst, warum du es testen willst und was du nach dem Test tun wirst. Die Fragezeichen in der Formel haben sich aufgeklärt. Aber es gibt noch eine große Unbekannte: Den Traffic. Du kannst dir sicher vorstellen, dass du für einen aussagekräftigen A/B-Test einige Nutzer brauchst, die deine Seitenvarianten durchspielen. Schließlich sollen deine Ergebnisse statistische Signifikanz haben und nicht an einer handvoll Webseitengäste hängen! Der Zufallsfaktor wäre viel zu hoch, wenn nur drei oder vier Personen deine Seite durchlaufen und sich dann für oder gegen eine Handlung entscheiden.

Die Lösung: Genug Traffic für alle Seitenvarianten! Dein Ziel ist es, ein Signifikanzniveau von 95 Prozent zu erreichen. Das bedeutet, dass es zu 95 Prozent sicher ist, dass die Änderungen im A/B-Test verantwortlich für die Veränderung in der Conversionrate waren und kein Produkt des Zufalls. Schlüssel zu einer hohen statistischen Signifikanz? Genug Testfälle. Das erreichst Du entweder durch einen hohen organischen oder eingekauften Traffic oder über eine verlängerte Testdauer. Du musst heutzutage nicht einmal mehr selbst rechnen! Tools wie der ABTestguide oder Trakken unterstützen dich bei der Berechnung der nötigen Werte.

Was kann ich tun, wenn mein Traffic für einen A/B-Test nicht ausreicht? Wir haben eine Anleitung dazu geschrieben, wie du auch mit wenig Traffic sinnvolle und saubere Ad-Kampagnen und Conversionrate-Optimierung machen kannst. 

6. Vergesse nie, absolut NIE, den Cross-Browser-Test

Du hast einen bildschönen A/B-Test gebaut. Die Hypothesen stehen, deine Änderungen sind kontrastreich und du bist zuversichtlich, genug relevanten Traffic zu erzielen, um deine Ergebnisse valide werden zu lassen. Alles ist gut.

Jetzt gibt es nur noch ein Problem: Dein neues Feature sieht zwar bei Firefox und Chrome richtig gut aus, aber der Internet Explorer zerstört das frische Layout. Das Ergebnis: Radikal unterschiedliche Ergebnisse bei den verschiedenen Browsertypen. Mit etwas Glück fällt dir dieser Zusammenhang auf, bevor du die eigentlich gute und sinnvolle Änderung aus dem Fenster wirfst.

Sprich: Verzichte niemals auf den Cross-Browser-Test, bevor du mit dem AB-Test loslegst! Dabei checkst du, ob deine Änderungen in allen relevanten Betriebssystemen exakt gleich aussehen. Nur eine konsistente Nutzererfahrung bringt wirklich belastbare Daten für dich.

7. Ab auf die Zielgerade: Wissen, wann der Test vorbei ist

Wenn der Test einmal läuft, dann läuft er. Du kannst in verschiedenen Stufen vorgehen und die Inhalte und Designelemente nach und nach verbessern. Ein großer Fehler ist allerdings, niemals ein Ende zu finden. Klar, es gibt immer etwas zu tun – aber früher oder später wirst du an den Punkt kommen, wo der hundertste A/B-Test nur noch feine Veränderungen mit sich bringt. Du hast das große Ganze aus den Augen verloren.

Gemäß den Grundregeln aus dem Performance Marketing solltest du vor Beginn der Marketingmaßnahmen Benchmarks und Werte definieren, die als Erfolg gelten. Sobald diese Werte erreicht oder überschritten wurden, endet der aktuelle Optimierungszyklus. Danach gibt es eine Qualitätssicherung, bei der du die bisherige Arbeit bewertest und dir überlegst, was du besser machen kannst. Erst danach beginnt eine neue Runde an Research, Hypothesen und A/B-Tests.

Das hat einige Vorteile:

  • Du verrennst dich nicht in Kleinigkeiten.
  • Du behältst den Blick für die Zusammenhänge.
  • Im nächsten Zyklus kannst du mit einem frischen Blick starten.
  • Die Änderungen haben Zeit, ihre Wirkung zu entfalten.
  • Du gehst nicht zu viele Baustellen auf einmal an.

Im Webdesign nennt man diese Herangehensweise Growth-Driven-Design. Statt einmalig alles gleichzeitig anzugehen, kümmerst du dich nach und nach um kleine, aber wichtige Verbesserungen an der Webseite. Das ermöglicht dir eine bessere Qualitätskontrolle der Ergebnisse.

Fazit: Qualitätssicherung bei A/B-Tests: Einfacher, als du denkst!

Wir haben ja schon oft darauf hingewiesen, dass es nichts bringt, sich blind in die Conversion-Optimierung zu stürzen. Du solltest einen klaren Plan haben und wissen, wohin die Reise geht. Für den A/B-Test als Unterkategorie von CRO gilt dasselbe: Statt einfach munter draufloszutesten, ist Köpfchen gefragt. Ohne eine Analyse der Problemstellen und eine umfassende Vorbereitung bringt ein Test nicht viel. Klar, du kannst direkt auf Gold stoßen. Aber genauso wahrscheinlich ist es, in eine ganz falsche Richtung zu optimieren. Besser: Vorher Gedanken machen und hinterher die Qualität prüfen! Nur so kommst du an Ergebnisse, mit denen du etwas anfangen kannst.


Zusammenfassung

  • Vor einem A/B-Test steht eine ausführliche Analyse der Nutzerdaten.
  • Für jede Variable erstellst du Testing-Hypothesen, die deinen Versuchsaufbau in klare Worte fassen.
  • Die Variablen, die du testest, sollten trennscharf und relevant genug sein, um wirklich valide Daten zu erzeugen.
  • Die Test-Statistik hat im Idealfall eine Signifikanzquote von mehr als 95 Prozent. 
  • Ohne Qualitätskontrolle in Form von Benchmarks oder regelmäßigen Tests startest du keine weiteren Testrunden.

Wie gehst du bei einem A/B-Test vor? Lasse es uns in den Kommentaren wissen!

0 Kommentare

Dein Kommentar

An Diskussion beteiligen?
Hinterlasse uns Deinen Kommentar!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.