A/B-Testing im E-Commerce:
Der komplette Einsteiger-Guide

Definition: Variante A vs. Variante B

A/B-Testing ist kontrolliertes Experimentieren. Sie ändern eine Variable (Button-Farbe, Headline, Bild) und messen den Unterschied. Nichts anderes.

Variante A ist die Kontrolle – der aktuelle Stand. Variante B ist die Testversion. 50/50 Traffic-Split. Mindestens eine Woche Laufzeit. Statistische Signifikanz als Entscheidungskriterium.

Daten statt Bauchgefühl: Die Philosophie hinter A/B-Tests

Die meisten E-Commerce-Entscheidungen basieren auf Meinungen. „Ich finde Rot besser als Grün.“ „Die neue Seite sieht moderner aus.“ A/B-Testing eliminiert diese Subjektivität.

Daten zeigen, was funktioniert. Nicht was schön aussieht. Nicht was der CEO bevorzugt. Was die Kunden tatsächlich kaufen.

Traffic-Split und statistische Signifikanz

Der Traffic wird randomisiert aufgeteilt. Nicht nach Gerät, nicht nach Uhrzeit, nicht nach Quelle. Randomisiert. Das ist die Voraussetzung für valide Ergebnisse.

Statistische Signifikanz gibt an, wie wahrscheinlich es ist, dass ein beobachteter Unterschied nicht durch Zufall entstanden ist. Ein typisches Konfidenzniveau von 95% bedeutet: Es gibt nur eine 5%ige Chance, dass der Unterschied zufällig ist.

Mindestlaufzeit und Stichprobengröße

Für statistisch signifikante Ergebnisse benötigen Sie typischerweise mindestens 1.000 Besucher pro Variante bei einer Baseline-Conversion-Rate von 2%. Bei niedrigeren Conversion-Raten oder kleineren erwarteten Effekten steigt der benötigte Traffic.

Ein A/B-Test sollte mindestens einen vollständigen Geschäftszyklus (typischerweise 1-2 Wochen) abdecken, um Wochentag-Effekte auszugleichen. Nie früher als geplant stoppen, nur weil ein Zwischenergebnis aussieht – das sogenannte ‚Peeking Problem‘ führt zu falschen Schlüssen.

Primäre und sekundäre Metriken definieren

Jeder Test braucht eine primäre Metrik. Eine. Nicht drei, nicht fünf. Eine. Das ist die Entscheidungsmetrik.

Sekundäre Metriken (Verweildauer, Absprungrate, AOV) liefern Kontext. Aber der Gewinner wird an der primären Metrik gemessen. Alles andere ist Erklärung, nicht Entscheidung.

Test 1: Call-to-Action-Button (Farbe, Text, Position)

Der CTA ist der höchste Hebel. Farbe, Text, Größe, Position – alles testbar. „Jetzt kaufen“ vs. „In den Warenkorb“ vs. „Sichern Sie sich Ihr Exemplar“. Ein Shop steigerte seine Conversion um 12% allein durch den Wechsel von „Submit“ zu „Get My Free Quote“.

Test 2: Hero-Headline und Value Proposition

Die Headline hat 3-5 Sekunden. Sie muss den Nutzen kommunizieren, nicht das Feature. „Hochwertige Lederhandtaschen“ ist ein Feature. „Die letzte Handtasche, die Sie je kaufen müssen“ ist ein Benefit. Testen Sie beides.

Test 3: Produktbilder vs. Lifestyle-Fotos

Produktfotos auf weißem Hintergrund zeigen, was es ist. Lifestyle-Fotos zeigen, wie es sich anfühlt. Beide haben ihre Rolle. Die Frage ist: Welche Sequenz konvertiert besser? Bild 1: Produkt. Bild 2: Lifestyle. Oder umgekehrt?

Test 4: Preisdarstellung und Rabattkommunikation

€99 vs. €99,00 vs. 99 €. „20% Rabatt“ vs. „Sparen Sie 20€“. „Nur noch heute“ vs. „Limitiertes Angebot“. Die Art und Weise, wie Sie Preise kommunizieren, beeinflusst die Wahrnehmung – und die Conversion.

Test 5: Checkout-Formularfelder reduzieren

Jedes Feld kostet. Amazon patentierte den 1-Click-Checkout aus gutem Grund. Testen Sie Guest-Checkout vs. Account-Pflicht. Testen Sie 5 Felder vs. 10 Felder. Weniger ist oft mehr – aber nicht immer. Manchmal braucht der Kunde Informationen, um Vertrauen zu haben.

H = Hypothese (Wir glauben, dass…)

Die Hypothese formuliert den erwarteten Effekt. Konkret, messbar, begründet. „Wir glauben, dass ein größerer CTA-Button auf der Mobile-Startseite zu mehr Add-to-Cart führt, weil 68% unseres Traffics mobil kommt und der aktuelle Button unter dem Fold liegt.“

A = Aktion (Wir werden… testen)

Die Aktion beschreibt die konkrete Änderung. Was genau wird verändert? Auf welcher Seite? Für welche Zielgruppe? „Wir werden den CTA-Button um 50% vergrößern und in die erste Bildschirmhälfte verschieben.“

T = Target (Um… zu erreichen)

Das Target definiert die messbare Zielgröße. „Um die mobile Add-to-Cart-Rate um 15% zu steigern.“ Nicht „mehr Umsatz“. Nicht „bessere UX“. Eine Zahl, eine Metrik, ein Zeitraum.

Kostenlose Optionen: Google Optimize Nachfolger, Splitbee

Google Optimize (bzw. dessen Nachfolger) bietet eine kostenlose Integration mit GA4. GrowthBook ist Open Source und kostenlos. Splitbee startet bei 0€ für kleine Projekte. Für erste Tests und Learning reicht das.

Mid-Range: Optimizely, VWO

Optimizely und VWO sind die Standards für professionelle CRO-Teams. Visuelle Editoren, statistische Engines, Segmentierung. Preise ab ca. 200-500€/Monat. Die Investition lohnt sich ab 100.000€ Jahresumsatz.

Enterprise: Adobe Target, Dynamic Yield

Adobe Target und Dynamic Yield (Mastercard) sind Enterprise-Lösungen. Multi-Page-Testing, Personalisierung, KI-gestützte Optimierung. Preise ab 5.000€/Monat. Für Shops mit >1M Umsatz und komplexen Test-Programmen.

Zu früh beendete Tests (Peeking Problem)

Der häufigste Fehler: Ein Test läuft 3 Tage, die Variante führt mit +20%, der Test wird gestoppt. Nach 2 Wochen wäre der Effekt auf Null zurückgegangen. Peeking verzerrt Ergebnisse systematisch. Feste Laufzeiten, keine Ausnahmen.

Mehrere Elemente gleichzeitig verändern

Wenn Sie Button-Farbe, Headline und Bild gleichzeitig ändern, wissen Sie nicht, was den Unterschied gemacht hat. Multivariate Testing ist möglich, aber komplex. Für Einsteiger: Eine Variable, ein Test, eine Erklärung.

Tests ohne ausreichenden Traffic

Ein Test mit 200 Besuchern pro Variante ist kein Test, es ist eine Vermutung. Mindestens 1.000 Besucher pro Variante. Online-Rechner wie der von Evan Miller helfen, die exakte Stichprobengröße zu berechnen.

Statistische Signifikanz vs. praktische Relevanz

Ein Test kann statistisch signifikant sein (p < 0,05) und praktisch irrelevant (+0,3% Conversion). Umgekehrt kann ein +15% Effekt nicht signifikant sein bei zu wenig Traffic. Beide Dimensionen müssen stimmen.

Segmentanalyse: Wer reagiert am besten?

Ein Gewinner ist selten für alle gleich. Mobile vs. Desktop. Neukunden vs. Bestandskunden. SEO-Traffic vs. Paid-Traffic. Die Segmentanalyse zeigt, wo der Effekt am stärksten ist – und wo er fehlt.

Loser-Analyse: Was haben wir gelernt?

Ein „verlorener“ Test ist kein Fehler. Er ist ein Datensatz. „Die rote Variante konvertierte 8% schlechter“ ist eine Information. Vielleicht ist Rot für Ihre Zielgruppe assoziiert mit Warnung. Vielleicht war die Variante zu aggressiv. Jeder Loser generiert Wissen.

Das Testing-Backlog aufbauen

Ein Backlog ist keine Wunschliste. Es ist eine Pipeline priorisierter Hypothesen. Jeder Eintrag hat HAT-Struktur, erwarteten Effekt, benötigten Traffic und geschätzte Laufzeit. 10-20 Ideen im Backlog sind ein gesunder Bestand.

Priorisierung mit ICE-Score

ICE = Impact × Confidence × Ease. Jede Hypothese wird auf einer Skala 1-10 bewertet. Hoher Impact, hohe Confidence, niedriger Aufwand = hohe Priorität. Der ICE-Score eliminiert subjektive Priorisierung.

Dokumentation und Wissenstransfer

Jeder Test wird dokumentiert: Hypothese, Setup, Ergebnis, Entscheidung, Learnings. Nicht in einer Excel-Tabelle, die niemand öffnet. In einem zentralen Wiki oder einem dedizierten CRO-Tool. Wissen, das nicht geteilt wird, ist verloren.