A/B-Testing: Grundlagen, Statistik und Tools für eCommerce

A/B-Testing ist der einzige Weg, um mit Sicherheit zu wissen, was funktioniert. Nicht Meinungen. Nicht Bauchgefühl. Nicht „Das sieht besser aus.“ Nur Daten. Wir haben tausende A/B-Tests durchgeführt. Der wichtigste Lernprozess: 7 von 10 „Verbesserungen“, die wir ohne Test implementiert hätten, hätten die Conversion gesenkt. Nicht erhöht. Gesenkt.

Warum A/B-Testing der einzige Weg ist, der zählt

Sie können sich eine neue Landingpage ausdenken. Einen neuen Checkout. Einen neuen CTA. Sie können sagen: „Das sieht besser aus.“ Aber „besser aussehen“ konvertiert nicht. Daten konvertieren.

Die Realität ist ernüchternd. Wir alle haben Biases. Wir lieben das, was wir selbst entworfen haben. Wir überschätzen Design und unterschätzen Reibung. Wir glauben, wir kennen unsere Kunden. Wir kennen sie nicht.

Deshalb testen wir. Jede Änderung. Jede Vermutung. Jede Idee. Nicht, weil wir uns nicht trauen zu entscheiden. Sondern weil wir uns nicht trauen, falsch zu entscheiden.

Unser Testing-Ansatz

Wir nutzen einen eigenen Testing-Stack. Entwickelt über tausende Tests hinweg. Optimiert für E-Commerce. Nicht für Landingpages. Nicht für Lead-Generierung. Für Shops.

Hypothese statt Vermutung. „Ich glaube, eine rote Button-Farbe konvertiert besser“ ist keine Hypothese. Eine Hypothese lautet: „Wir beobachten, dass 68 % der Mobile-Nutzer den Checkout abbrechen. Wir vermuten, dass ein sticky CTA-Button die Mobile-Conversion um 15 % erhöht.“

Statistische Signifikanz. Ein Test mit 200 Besuchern und 5 Conversions sagt nichts. Nichts. Bei geringen Conversion Rates brauchen wir tausende Besucher pro Variante. Mindestens 100 Conversions pro Variante. Oder mindestens 2 Wochen Laufzeit. Was zuerst eintritt.

Segmentierung. Ein Test kann im Durchschnitt neutral sein und in einem Segment 30 % Gewinn bringen. Mobile vs. Desktop. Neu vs. wiederkehrend. Organisch vs. Paid. Der Durchschnitt täuscht. Die Segmente enthüllen.

Was wir testen

Was die Wissenschaft sagt

A/B-Testing ist keine neue Idee. Die Grundlagen wurden in den 1920er Jahren von Ronald Fisher in der Agrarstatistik entwickelt. Heute ist es das Standard-Instrument der datengetriebenen Entscheidungsfindung, nicht nur im E-Commerce, sondern in Medizin, Politik und Technologie.

Die Harvard Business Review hat wiederholt nachgewiesen, dass Unternehmen, die systematisch A/B-Tests durchführen, höhere Wachstumsraten zeigen als ihre Konkurrenz. Nicht, weil sie mehr testen. Sondern weil sie besser testen.

Die mathematische Realität: Ein Test mit 200 Besuchern und 5 Conversions sagt statistisch nichts. Die Faustregel ist: Mindestens 100 Conversions pro Variante. Oder mindestens 2 Wochen Laufzeit. Was zuerst eintritt. Alles darunter ist Zufall.

Die Segmentation-Falle: Ein Test kann im Durchschnitt neutral sein und in einem Segment 30 % Gewinn bringen. Mobile vs. Desktop. Neu vs. wiederkehrend. Organisch vs. Paid. Der Durchschnitt täuscht. Die Segmente enthüllen. Das ist kein Gefühl. Das ist Mathematik.

A/B-Testing einführen: Der Schritt-für-Schritt-Plan

Viele Shops scheitern am Testing, bevor der erste Test läuft — weil sie mit dem Werkzeug anfangen statt mit der Frage. So führen Sie A/B-Testing richtig ein:

1. Baseline messen

Bevor Sie etwas ändern, wissen Sie, wo Sie stehen: Conversion Rate, Umsatz pro Besucher, Checkout-Completion — pro Gerät und pro Kanal. Ohne Baseline können Sie später keinen Erfolg nachweisen.

2. Eine Hypothese formulieren

Eine gute Hypothese verknüpft Beobachtung, Vermutung und Messgröße: „Wir sehen, dass 68 % der mobilen Besucher im Checkout abbrechen. Wir vermuten: Ein Sticky-CTA erhöht die Mobile-Completion um 15 %.“

3. Testdauer und Stichprobe festlegen

Mindestens 100 Conversions pro Variante oder mindestens zwei volle Wochen — was später kommt. Die benötigte Laufzeit für Ihren Traffic finden Sie mit unserem A/B-Test-Dauer-Rechner.

4. Auswerten, segmentieren, ausrollen

Der Durchschnitt täuscht. Erst die Segmentierung (Mobile/Desktop, Neu/Stamm) zeigt, wo der Gewinner wirklich gewinnt. Und: Ein Ergebnis, das Sie nicht ausrollen, ist kein Ergebnis.

• Split Test A/B: Die wissenschaftliche Methode für datenbasierte Entscheidungen

A/B-Testing Statistik: Was Signifikanz wirklich bedeutet

Statistische Signifikanz ist kein Schalter, der bei 95 % umkippt. Sie ist eine Aussage über Wahrscheinlichkeit: Wie wahrscheinlich ist es, dass der beobachtete Unterschied zufällig entstanden ist? Tests mit wenigen Conversions erreichen 95 % schnell — und verlieren sie wieder, wenn die Laufzeit nicht stimmt. Deshalb gilt bei uns: Laufzeit vor Confidence, volle Wochen vor Wochenenden, Conversions vor Klicks. Einen ausführlichen Überblick gibt unser Leitfaden zum Split Test A/B; die Laufzeit rechnet der A/B-Test-Dauer-Rechner für Ihren Traffic aus.

A/B-Testing Tools: Unser Ansatz

Die meisten Testing-Tools sind für Landingpages gebaut, nicht für Shops. Wir arbeiten deshalb mit einem eigenen Testing-Stack, der in Ihrer Infrastruktur läuft: Ihre Daten bleiben bei Ihnen, die Tests messen echte Bestellungen statt Klicks, und die Auswertung erfolgt auf Umsatz, AOV und Warenkorbwert. Wie das System aufgebaut ist, zeigt das JDK-Modell. Wenn Sie Tests nicht selbst aufsetzen und auswerten wollen, machen wir das für Sie: A/B-Testing-Agentur für Onlineshops — 0 € Setup, 10 % vom nachweisbaren Mehrumsatz.

Häufige Testing-Fehler

Zu früh stoppen. Nach 3 Tagen und 50 Conversions wird der Test als „signifikant“ bewertet. Das ist Zufall. Wir sehen Tests, die nach einer Woche 95 % Confidence hatten und nach 4 Wochen bei 60 % landeten.

Zu viele Varianten. A/B/C/D/E-Tests brauchen 5× so viel Traffic. Bei den meisten Shops ist A/B ausreichend.

Nicht segmentieren. Der Durchschnitt lügt. Jede Segmentierung ist ein potenzieller Schatz.

Tests nicht ausrollen. Ein Test zeigt +15 %. Der Shop-Betreiber freut sich. Und implementiert nie. Der Gewinn bleibt theoretisch.

Warum JDKRUEGER&CO für A/B-Testing

Kein Tool-Vendor. Kein Berater. Ein Testing-System. Wir haben kein Produkt, das wir Ihnen verkaufen wollen. Wir haben ein System, das Ihren Shop optimiert. Der Unterschied: Wir gewinnen, wenn Sie gewinnen. Und wir gewinnen nur, wenn die Daten es beweisen.

Tausende Tests. 20 Jahre Erfahrung. Seit 2006 führen wir systematische A/B-Tests durch. zunächst für eigene Shops, dann für Kunden. Wir haben gelernt, dass 7 von 10 „guten Ideen“ ohne Test die Conversion senken würden. Wir haben gelernt, dass der Durchschnitt täuscht und die Segmente enthüllen. Wir haben gelernt, dass Geduld der größte Hebel ist.

Eigener Testing-Stack. Wir nutzen kein SaaS-Tool, das monatlich kostet und bei dem Ihre Daten auf fremden Servern landen. Unser Stack läuft in Ihrer Infrastruktur. Sie behalten die Kontrolle. Sie behalten die Daten. Sie behalten das Wissen.

Sie raten, was funktioniert?
Wir testen es. Test-Strategie besprechen