A/B-Testing
Shopify Rollouts als A/B-Test: wo das Release-Werkzeug an seine Grenzen kommt
Letzte Woche kam im Gespräch mit einem Shopify-Händler die Frage: "Können wir die A/B-Tests nicht direkt in Shopify fahren? Märkte, Rollouts, neu erstellen.
A/B-Testing
"Macht so ein Test-Tool nicht den Shop langsam?" Die Frage kam zuletzt wieder im Gespräch mit einem Shopify-Händler. Die kurze Antwort: Mit einem modernen Setup ist der Page Speed kein Grund gegen A/B-Tests.
„Macht so ein Test-Tool nicht den Shop langsam?“ Die Frage kam zuletzt wieder im Gespräch mit einem Shopify-Händler. Die kurze Antwort: Mit einem modernen Setup ist der Page Speed kein Grund gegen A/B-Tests.
Bei uns lädt das Test-Skript asynchron neben der Seite her, ist rund 40 KB groß und hält die Seite nicht an. Ausgeblendet wird nur, was eine Variante im sichtbaren Bereich ändert, und dann höchstens 300 Millisekunden. Und jede Variante muss vor dem Start zeigen, dass sie nicht spürbar langsamer lädt als die Kontrolle.
Das Skript steht nicht im Weg, den der Browser zum ersten Anzeigen der Seite braucht. Die Seite baut sich auf, das Test-Tool lädt parallel.
Das Skript kommt aus einem CDN und bleibt im Browser-Cache. Ab dem zweiten Seitenaufruf lädt der Besucher es nicht erneut.
Ausgeblendet wird nur, wo eine Variante wirklich etwas im sichtbaren Bereich ändert, und dann für einen Sekundenbruchteil. Alles andere zeigt sich sofort.
Der schlechte Ruf von Test-Tools stammt aus der Zeit, als die ganze Seite ausgeblendet wurde, bis der Test geladen war. Google Optimize, 2023 eingestellt, hat dafür bis zu vier Sekunden gewartet. Wie es heute anders geht, zeigt der nächste Abschnitt.
Das Chrome-Team beschreibt in seinen Empfehlungen für flackerfreies Testen im Browser einen Weg ohne die alten Ausblende-Snippets: das Test-Skript im Kopf der Seite mit dem Attribut blocking=“render“ laden, die Variante über CSS schalten und die Ausführungszeit mit einem Budget begrenzen, etwa unter 100 Millisekunden.
Wo es auf jede Millisekunde ankommt, liefert der Server oder das CDN die Variante direkt aus. Dann gibt es gar kein Test-Skript im Browser. Shopify geht mit Rollouts diesen Weg, mit eigenen Grenzen, die wir in unserem Artikel zu Shopify Rollouts beschrieben haben.
Unser Test-Skript kommt aus einem CDN, lädt asynchron und ist rund 40 KB groß, komprimiert. Der Programmteil bleibt eine Woche im Browser-Cache, die Testkonfiguration wird alle paar Minuten frisch geladen. Das Rendern der Seite blockiert es nicht.
Jede Variante wird vor dem Start gegen die Kontrolle gemessen: Wann ist das größte Element sichtbar, und verschiebt sich etwas im Layout? Ist die Variante dabei spürbar schlechter, startet sie nicht. Page Speed prüfen wir vor dem Test, damit danach niemand darüber diskutieren muss.
Page Speed ist eine Kennzahl, Umsatz pro Besuch die andere. Mit einem sauberen Setup müssen Sie sich zwischen beiden nicht entscheiden. Die Tests laufen, und der Shop bleibt schnell.
Quellen
Zuletzt aktualisiert:
A/B-Testing
Letzte Woche kam im Gespräch mit einem Shopify-Händler die Frage: "Können wir die A/B-Tests nicht direkt in Shopify fahren? Märkte, Rollouts, neu erstellen.
A/B-Testing
Statistische Signifikanz ist das Entscheidungskriterium in der datengesteuerten Optimierung. Sie gibt an, wie wahrscheinlich es ist, dass ein beobachteter Unterschied zwischen zwei Varianten nicht durch Zufall entstanden ist.
A/B-Testing
A/B-Test Tools sind die Software, die aus Vermutungen beweisbare Daten macht. Dieser unabhängige Vergleichs-Guide richtet sich an CRO-Profis, die wissen, dass das richtige Tool der Unterschied zwischen datengetriebenen Entscheidungen und teuren Vermutungen ist.
In der Dropoff-Analyse sehen Sie, wo Ihr Shop Käufer verliert. Danach wissen Sie, wo sich der erste Schritt lohnt.