A/B-Test-Dauer-Rechner

A/B-Test-Dauer berechnen: Wie lange braucht ein valider Split-Test?

Die Laufzeit eines A/B-Tests entscheidet, ob Ihre Ergebnisse statistisch valide sind oder reines Rauschen. Zu kurze Tests führen zu Fehlentscheidungen. Zu lange Tests kosten Zeit und Umsatz. Unser Rechner zeigt Ihnen die optimale Testdauer basierend auf Ihrem Traffic, Ihrer Conversion Rate und der erwarteten Verbesserung.

Wie funktioniert die Berechnung?

Die Berechnung basiert auf der statistischen Formel für die Stichprobengröße bei A/B-Tests mit zwei Proportionen. Wir verwenden einen Standard von 80 Prozent Power und 95 Prozent Signifikanz — das ist der Industriestandard für eCommerce CRO.

• Statistische Power (80%): Die Wahrscheinlichkeit, einen echten Effekt zu entdecken. 80 Prozent bedeutet: In 4 von 5 Fällen finden wir eine echte Verbesserung.
• Signifikanzniveau (95%): Die Wahrscheinlichkeit, keinen Fehler 1. Art zu begehen. 95 Prozent bedeutet: Nur in 1 von 20 Fällen sehen wir einen Effekt, der gar nicht existiert.
• Minimal Detectable Effect (MDE): Die kleinste Verbesserung, die Sie nachweisen wollen. Je kleiner der MDE, desto länger der Test.

Die Formel berücksichtigt die Anzahl der Varianten und skaliert die benötigte Stichprobengröße entsprechend. Drei Varianten brauchen mehr Traffic als zwei. Fünf Varianten noch mehr.

Faustregeln für A/B-Tests im eCommerce

• Mindestens 1 Woche Laufzeit zur Abdeckung von Wochentag-Effekten. Montagmorgen kauft niemand. Samstagabend schon.
• Mindestens 100 Conversions pro Variante. Weniger sind statistisch nicht aussagekräftig.
• Bei saisonalen Produkten mindestens 1 vollständiger Verkaufszyklus. Ein Weihnachts-Test im Juli ist wertlos.
• Tests niemals vorzeitig stoppen. Das Peeking-Problem verfälscht Ergebnisse massiv.
• Traffic gleichmäßig verteilen. 50/50 ist Standard. 90/10 verlängert den Test unnötig.

Die häufigsten Fehler bei der Testdauer

Viele Shop-Betreiber stoppen Tests nach 3 Tagen, weil eine Variante "deutlich besser aussieht". Das ist der teuerste Fehler im CRO. Ein Test mit 500 Besuchern pro Tag und 2 Prozent Conversion Rate braucht mindestens 2 Wochen, um einen 15-prozentigen Lift statistisch zu validieren. Bei 10.000 Besuchern pro Tag reichen 3 Tage. Der Rechner zeigt Ihnen die exakte Zahl für Ihren Shop.

Wann ist ein A/B-Test statistisch signifikant?

Ein Test ist signifikant, wenn die p-Wert unter 0,05 liegt UND die erreichte Power über 80 Prozent liegt. Beides muss erfüllt sein. Ein p-Wert von 0,03 bei nur 40 Prozent Power ist wertlos. Der Rechner berechnet beide Werte und zeigt Ihnen den genauen Zeitpunkt, an dem Sie den Test beenden können.