Die besten Tools für A/B-Tests

Wenn Sie Webseiten wie Workana oder Indeed beobachten und sich die Qualifikationsanforderungen für Digital-Marketingspezialisten ansehen, werden Sie feststellen, dass die meisten Arbeitgeber Mitarbeiter mit A/B-Test Erfahrung suchen. In der Tat ist die Idee von A/B-Experimenten mehr als verlockend. Stellen Sie eine Optimierungshypothese auf, testen Sie sie und skalieren Sie die besten Ergebnisse. Allerdings zeigt nur 1 von 8 durchgeführten Tests Anzeichen eines echten Prozessdurchbruchs. Um die Nadel im Heuhaufen zu finden, müssen sowohl die Vorbereitungsphase als auch die A/B-Test-Tools sorgfältig durchdacht sein.

Die Relevanz von A/B-Tests

Angenommen, Sie führen E-Mail-Marketingkampagnen für ein Online-Kleidungsgeschäft durch. Sie verwenden gut funktionierende Vorlagen für verschiedene Anlässe. Wenn z.B. Ihre neue Ware eintrifft, müssen Sie Ihren Online-Shop mit neuen Kategorien und den dazugehörigen visuellen Elementen vorbereiten. Egal, ob es sich um einen Ausverkauf in der Mitte der Saison oder um Weihnachtsgeschenke handelt, die Art der Produktpräsentation muss sich ändern. Zu einem bestimmten Zeitpunkt und mit stichhaltigen Argumenten im Hinterkopf gehen Sie davon aus, dass die CTR (Click-Through-Rate) von Kampagnen steigen könnte, wenn Sie die Anordnung des „Sale“-Labels ändern.

“Testen der Auswirkungen verschiedener visueller Elemente auf die Click-Through-Rate”, source

Die Hypothese kann sich aus früheren Erfahrungen, erfolgreichen Benchmarks von Wettbewerbern oder allgemeinen Best Practices ergeben. In jedem Fall bleibt dies subjektiv – niemand kann garantieren, wie vorhersehbar das Ergebnis ist. Bevor Sie den Prozess skalieren, sollten Sie nachweisen, dass das A/B-Experiment keine negativen Auswirkungen auf den ROI (Return on Investment) der Kampagne hat.
Der mathematisch korrekte Weg zur Verringerung des Misserfolgsrisikos besteht darin, die Veränderungen in kleinen Gruppen zu untersuchen und im Erfolgsfall auf ein breiteres, in zwei Segmente unterteiltes Publikum zu extrapolieren. Die beiden Segmente sind 1) das Hauptsegment „A“ und 2) das experimentelleSegment „B“.

Das B-Segment erhält eine geänderte Version, in unserem Beispiel einen Newsletter mit einer geänderten Position des Labels, während das A-Segment weiterhin die Originalversion erhält.
Verfolgen Sie die CTR-Metriken für beide Segmente und vergleichen Sie nach Abschluss des Experiments die durchschnittlichen Gesamtergebnisse.

“Das Diagramm zeigt die Verteilung der einzelnen Werte aus den Segmenten „A“ und „B“ um den Durchschnitt“, source

Um festzustellen, ob das Ergebnis zuverlässig ist, d.h. ob der Unterschied bei den CTRs wirklich beträchtlich ist, müssen Sie den Schnittbereich mit 90%, 95% oder 99% statistischer Signifikanz messen.

“Je kleiner der Kreuzungsbereich ist, desto relevanter sind die Ergebnisse”, source

Die Vernachlässigung der mathematischen Bedeutung kann zu einer Fehlinterpretation der Ergebnisse von A/B-Tests führen. Sie sollten auch die absolute Größe der einzelnen Segmente berücksichtigen, da die Daten von 100 oder 10.000 Personen erheblich voneinander abweichen können.

A/B-Testing-Tools

Wir untersuchen das Ergebnis der Tests im Hinblick auf drei wesentliche Aspekte:

• Änderungen bei Konversionen
• Effekt von Unternehmenskennzahlen: wie z.B. der durchschnittliche Warenkorbwert
• Verhaltensbezogene Faktoren: wie z.B. die durchschnittliche Session-Dauer, die Interaktionstiefe auf Webseiten, ereignisbasierte Klicks

Je nach Zweck unterscheiden sich die einzelnen Experimente erheblich. Daher gibt es auch kein Patentrezept, wie man A/B-Tests effektiv durchführt. Um Ihre Erfolgschancen zu erhöhen, haben wir eine Liste der hilfreichsten Tools zusammengestellt, die einen Versuch wert sind.

Google Optimize

Google Optimize ist ein kostenloses Tool, das Tests für die UI/UX einer Webseite sowohl auf Desktop- als auch auf mobilen Versionen ermöglicht. Sie können alle Arten von A/B-Tests durchführen, vor allem für Landing Pages:

• Hinzufügen oder Ausblenden von Elementen, wie z. B. Inhalte, Bilder, Schaltflächen
• verschiedene Layouts erstellen und vergleichen
• Erprobung verschiedener Web-Designs

Um einen Test zu starten, fügen Sie Google Analytics, Google Tag Manager und Optimize Tracking-Codes auf Ihrer Ziel-Webseite hinzu. Wir empfehlen Ihnen, auch Ziele und Ereignisverfolgung einzurichten. Nachdem Sie Ihr Konto erstellt haben, können Sie zwischen vier regulären Experimenttypen wählen:

• A/B-Test - Anzeige von 2 bis „n“ Varianten der gleichen Webseite
• Multivariater Test - zwei oder mehr Elemente innerhalb einer bestimmten Webseite anzeigen
• Redirect-Test - zur Anzeige unterschiedlicher Seitendesigns
• Personalisierung - für individuelle Einstiege

Sie werden Alternativen entwickeln müssen, die Sie später zum Vergleich mit dem Original verwenden können. So können Sie z.B. sehen, wie sich Änderungen auf die Farbgebung, die Erstellung verschiedener URLs, die Manipulation von Inhalten oder die Bearbeitung von HTML und externem JavaScript auswirken.
Um die Zielgruppe anzusprechen, verwenden Sie eine der zehn Targeting-Optionen: Zielgruppe, Verhalten, GEO, Technologie und andere. Das Großartige an Optimize ist, dass Sie Gewichtungen für verschiedene Experimente festlegen können, um den Traffic zu steuern und die Reaktionen der Nutzer besser zu verstehen.

Vorteile: einfache Schnittstelle, kostenlos zu benutzen, leicht mit anderen Webanalyseprogrammen von Google zu synchronisieren.
Nachteile: nicht geeignet für A/B-Tests von E-Mail-Inhalten.
Preis: kostenlos.

Snov.io

E-Mail-Vermarkter werden es lieben, Drip-Kampagnen auf einfache Art und Weise zu starten und mit verschiedenen Nachrichten zu experimentieren. Anstatt den E-Mail-Versand zu planen und die Ergebnisse manuell zu analysieren, erstellen Sie personalisierte Drip-E-Mail-Sequenzen, indem Sie wichtige Auslöser und Ziele festlegen.

“Erstellen Sie E-Mail-Versandbäume und testen Sie die Wirksamkeit verschiedener E-Mail-Inhalte mit Hilfe von Snov.io”, source

Die Beseitigung des Einflusses externer Faktoren führt zu zuverlässigeren A/B-Testergebnissen. Einer dieser Faktoren ist die Zeit. Daher müssen die Reaktionen der A- und B-Segmente unbedingt gleichzeitig gemessen werden.
Teilen Sie die Empfänger in mehrere Gruppen ein und planen Sie die Zustellung. Erstellen Sie dann für jede Gruppe eine eigene Drip-Logik: Entwickeln Sie unterschiedliche Botschaften, Designs oder Visualisierungen. Um den Effekt des A/B-Experiments zu verbessern, versuchen Sie, das Schema mit Triggern zu intensivieren. Planen Sie z.B. unterschiedliche Szenarien für Nutzer, die die E-Mail sofort geöffnet haben und solche, die sie gar nicht geöffnet haben.
Sie können die Leistung einer Kampagne während des gesamten Verlaufs und nach Abschluss der Kampagne verfolgen - der analytische Teil liefert Ihnen Informationen zur Leistungsverbesserung.

Vorteile: A/B-Tests für E-Mails, E-Mail-Finder und E-Mail-Überprüfungsfunktionen, automatische E-Mail-Planung, Integration über REST API.
Nachteile: kann nicht für A/B-Tests auf Webseiten verwendet werden.
Preis: das Abonnement beginnt bei $33 pro Monat; eine unbegrenzte Anzahl von Empfängern und Benutzern und 100.000 Credits kosten $482 pro Monat.

Optimizely

Dieser Dienst ist speziell auf A/B-Tests ausgerichtet. Er unterstützt die Integration mit Google Analytics und bietet endlose Möglichkeiten für multivariate Experimente.
Optimizely ist praktisch, wenn Sie Tests mit Bildern durchführen möchten. Geboten werden Editor und Hosting für Bilder. Der Dienst ermöglicht auch Segmentierung und GEO-Targeting.
Analyse-Enthusiasten werden mit den umfänglichen Möglichkeiten des Tools zufrieden sein:

1. angepasste Berichte
2. Statistiken
3. Integration von Heatmaps
4. Traffic-Verteilung
5. und mehr

Vorteile: Verfolgung von Konversionen und Interaktionszeiten, Zielgruppensegmentierung, Targeting
Nachteile: erlaubt nicht die Verfolgung von Quellen und Schlüsselwörtern
Preis: sowohl kostenlose als auch kostenpflichtige Abonnements sind verfügbar

Adobe Target

Adobe Target ist eine Cloud-Lösung für Multi-Channel-A/B-Tests. Die Entwickler weisen darauf hin, dass isolierte Experimente möglicherweise nicht so aussagekräftig sind wie solche, die über verschiedene Kontaktpunkte mit Zielkunden durchgeführt werden. Das gleichzeitige Testen über mehrere Dimensionen scheint fast unmöglich, aber mit der Adobe Experience Cloud ist das gar nicht so schwierig.
Zunächst müssen Sie einen neuen Test initialisieren und die URL der Ziel-Webseite hinzufügen. Es öffnet sich ein benutzerfreundlicher visueller Editor, mit dem Sie die Positionierung der Abschnitte ändern oder den Inhalt bearbeiten können. Sie können die Bedingungen der Experimente so weit wie möglich anpassen, indem Sie personalisierte Regeln hinzufügen.

“Fügen Sie Ihren Tests frühere Testdaten hinzu oder erstellen Sie diese von Grund auf neu”, source

Die Bibliothek ermöglicht es, mit Zielgruppen aus früheren Tests zu arbeiten, anstatt diese jedes Mal von Grund auf neu zu erstellen. Die Idee hinter der Verwendung früherer Testdaten ist, dass Sie Zielgruppen von und zu einem Analysekonto freigeben können, anstatt Informationen manuell übertragen zu müssen.
Das Dashboard zeigt Abschlussstatistiken in Form von Diagrammen und Tabellen mit numerischen Daten an. Diese wiederum können mit Teamkollegen oder Führungskräften geteilt werden. Wenn Sie sich die Zeit nehmen und bestimmte Konversionselemente eingrenzen, können Sie deren relativen Einfluss auf das Endergebnis feststellen.

Vorteile: Omnichannel-Tests, KI-gestützte Automatisierungsmöglichkeiten, erweiterte Anpassungsoptionen für Tests
Nachteile: nicht für E-Mail-Tests geeignet
Preis: Es gibt zwei Pakete – „Adobe Target Standard“ und „Adobe Target Premium“. Der Dienst bietet eine flexible Lizenzierung. Für genaue Preise sollten Sie sich an ein Vertriebsteam wenden.

VWO

Mit der Software können Sie A/B-, multivariate und URL-Tests verwalten. Sie verfügt über eine praktische Schnittstelle, insbesondere um verschiedene Arten von Änderungen an Webseiten vorzunehmen. Das Interessante an VWO ist, dass Sie Tests mit Widget-Vorlagen durchführen können, was vor allem für kleine Budgets oder A/B-Neulinge interessant ist.
Das Programm ist auch hilfreich, um Hypothesen aufzuschlüsseln und die Elemente zu extrahieren, die die größte Wirkung hatten. So können Sie jederzeit auf frühere Ergebnisse zurückgreifen und diese bei zukünftigen Tests und Testergebnissen berücksichtigen.

“Sehen Sie, wie die verschiedenen Testkomponenten abgeschnitten haben”, source

Eine weitere gute Sache ist, dass Sie auf allen Geräten und Webbrowsern in einem Echtzeitmodus überprüfen können, was das Publikum sieht. Die Echtzeitdaten helfen Ihnen, mit unglaublicher Geschwindigkeit auf ein mögliches Problem zu reagieren.

Vorteile: Tool zur Erstellung der gesamten Customer Journey, SmartStats zur Interpretation der Ergebnisse, Heatmaps und Bildschirmaufzeichnungen.
Nachteile: nur für A/B-Tests von Landing-Pages.
Preis: kostenpflichtiges Abonnement ab $199 pro Monat; es ist jedoch auch eine kostenlose Testoption verfügbar

Apptimize

Wie Adobe Target handelt es sich bei Apptimize um eine plattformübergreifende Lösung für A/B-Tests. Sie ist mit respektablen Must-Have-Funktionen ausgestattet:

1. Segmentierungs- und Targeting-Filter
2. Werkzeuge zur Bearbeitung von Versionen
3. kanalübergreifende Synchronisierung von Änderungen
   

Apptimize fördert einen integrierten Ansatz bei der Implementierung von Änderungen durch die Markierungsoption. Experimentatoren können damit sicher sein, dass die Nutzer die entsprechenden Informationen auch sehen – auf allen Online-Ressourcen des Unternehmens, die sie besuchen.

Vorteile: Funktionskennzeichen, plattformübergreifendes System zur Kontrolle von Änderungen
Nachteile: relativ wenige Optionen zur Anpassung von Experimenten, nur für Webseiten geeignet
Preis: zwei kostenpflichtige Abonnements, „Advanced“ und „Enterprise“; Nutzer können mit dem „Standard“-Tarif kostenlos starten

Kameleoon

Dieser Dienst zeichnet sich durch drei Qualitätsmerkmale aus:

1. eingebaute KPIs und Segment-Tools - für bessere Teamarbeit
2. Verhinderung des Flash of Original Content-Effekts - durch die einzigartige Technologie von Kameleoon
3. WYSIWYG-Bearbeitungstool für Experimente in unterschiedlichen Codierungsumgebungen

Eine hilfreiche Option ist die computergestützte Traffic-Verteilung: Sobald sich die „siegreiche“ Version herauskristallisiert, leitet das System den restlichen Verkehr automatisch auf diese Option um.

Vorteile: dynamische Traffic-Verteilung, QA-Simulatoren, mehr als 25 Segmentierungskriterien, 6 Interface-Sprachen
Nachteile: nur für Landing-Pages
Preis: nicht vorgesehen

Fazit

Das A/B-Testing ist ein umfassender und gründlicher Prozess. Das Wort „Test“ könnte manche dazu verleiten, A/B-Testing als simple, oberflächliche Prozedur zu verstehen. Doch weit gefehlt! Es handelt sich um komplexe Verfahren: schließlich sind die Konversionsraten nicht einfach zu verbessern und es gibt kaum eine bessere Methode dazu. Kennzahlen wie die Verringerung der Absprungrate oder der Verweildauer sind einige der Faktoren, die für den Erfolg eines E-Commerce-Unternehmens ausschlaggebend sind – sie dienen auch dazu, die Qualität der Kundenbindung zu überprüfen. Bei konsistenten Qualitätsinhalten kann das A/B-Testing den besten Weg aufzeigen, wie aussagekräftige Inhalte ein interessiertes Publikum erreichen.
A/B-Tests sind streng maßgeschneidert, auch wenn die Versuchsvariablen einfach und leicht zu ändern sind. Angesichts der Komplexität von A/B-Tests ist das Sammeln von Daten der einfachere Teil. Abgesehen von den analytischen Daten brauchen wir eine Reihe von zuverlässigen Tools und Geräten. Wir hoffen, dass unsere obige Auswahl Ihrem Streben nach Innovation zugute kommt.

In diesem Artikel wurden nur einige der wichtigsten Tipps für die Planung und Durchführung von A/B-Tests angesprochen. Letztendlich ist eine Software nichts anderes als ein ruhendes Ausführen von Routineaufgaben. Eine Maschine kann genaue Berechnungen durchführen und Ihnen anschauliche Berichte und Tabellen liefern. Und mit Methoden wie der No-Code-Automatisierung können auch Nicht-Entwickler Testumgebungen ausführen und verwalten.
Unabhängig von der Art Ihres Tests ist der wertvollste Teil jedoch die gründliche Analyse, die von Menschen durchgeführt wird. Gemäß dieser Regel und trotz der unbestreitbaren Macht der KI machen A/B-Tests keine Ausnahme.