Shopify Rollouts als A/B-Test:
wo das Release-Werkzeug an seine Grenzen kommt

Shopify beschreibt einen Rollout als geplantes Set von Änderungen am Haupt-Theme. Die Anwendungsfälle im Hilfe-Center stehen in dieser Reihenfolge: Saison-Updates, Sales und Kampagnen vorbereiten und zu einem festen Zeitpunkt starten. Änderungen vergleichen. Anpassungen am Haupt-Theme vorbereiten, ohne ein Duplikat anzulegen. Passend dazu sitzt die Funktion unter Märkte: Sie bringt Theme-Änderungen kontrolliert live, auf Wunsch nur für bestimmte Märkte.

Es gibt zwei Arten. Ein Launch bringt eine Änderung zu einem Zeitpunkt live. Ein Experiment zeigt die Änderung nur einem Teil der Besucher, der Rest sieht die Kontrolle. Experimente brauchen mindestens den Grow-Tarif. Die Variante entsteht, indem Sie eine automatisch angelegte Kopie des Themes im Theme-Editor bearbeiten oder das Theme komplett durch ein anderes ersetzen. Code-Änderungen gehen nur über den zweiten Weg, dazu weiter unten mehr.

Als Release-Werkzeug ist das gut gemacht. Für ein Testprogramm mit mehreren Hypothesen pro Monat fehlt einiges.

In einem Testprogramm laufen mehrere Tests gleichzeitig, zum Beispiel einer auf der Startseite und einer auf der Produktseite. Jeder bekommt den vollen Traffic seiner Seite.

Rollouts arbeitet anders. Jeder Besucher landet pro Theme in genau einem Rollout, und Shopify teilt den Traffic zwischen überlappenden Rollouts anteilig auf. Das Beispiel aus dem Hilfe-Center: Ein Rollout mit 60 Prozent Reichweite und einer mit 100 Prozent ergeben für den ersten effektiv 37,5 Prozent, gerechnet als 60 geteilt durch 160.

Für Ihre Tests heißt das: Zwei Experimente zu je 100 Prozent bekommen jeweils die Hälfte der Besucher, drei jeweils ein Drittel. Was allein zwei Wochen gebraucht hätte, braucht mit drei gleich großen parallelen Tests grob sechs. Und weil jedes Experiment am ganzen Theme hängt, konkurriert ein Test auf der Produktseite um dieselben Besucher wie einer auf der Startseite.

Dazu kommt eine Stolperfalle aus derselben Hilfeseite: Startet ein Rollout, der das Theme komplett ersetzt, während ein Rollout mit Theme-Änderungen läuft, fällt der effektive Traffic des zweiten auf 0 Prozent. Dessen Änderungen sieht dann niemand mehr. Wer parallel einen Sale-Launch vorbereitet, sollte das vorher wissen.

Am Ende eines Experiments entscheiden Sie: zurückrollen oder dauerhaft übernehmen. Übernommen ist übernommen, laut Shopify lässt sich das nicht rückgängig machen.

Das Experiment arbeitet mit Kopien. Jedes Experiment hat laut Shopify seine eigene, unabhängige Kopie der Kontrolle, und die Variante ist ebenfalls eine Kopie. Die Kopien entstehen beim Anlegen, damit das Live-Theme währenddessen weiter bearbeitet werden kann.

Was beim Übernehmen mit Änderungen passiert, die in der Zwischenzeit am Live-Theme gemacht wurden, beschreibt Shopify nicht. Ein Banner-Tausch, ein neuer Trust-Hinweis, ein Bugfix aus drei Wochen Testlaufzeit: Ob das beim Übernehmen erhalten bleibt oder überschrieben wird, sollten Sie in einem Test-Shop prüfen, bevor Sie es im echten Shop herausfinden. Bei zwei parallelen Experimenten, die beide gewinnen, stellt sich die Frage doppelt, weil jedes auf seiner eigenen Kopie aufsetzt.

In einem klassischen Testprogramm wird ein Gewinner als einzelne Änderung ins Theme eingebaut. Das Theme bleibt eins, und niemand muss Kopien gegeneinander abgleichen.

Für ein Theme-Experiment zeigt Shopify vier Kennzahlen je Variante: Conversion-Rate, Absprungrate, den Anteil der Sitzungen, die den Checkout erreichen, und die Add-to-Cart-Rate, also wie viele Besucher etwas in den Warenkorb legen. Dazu die Sitzungen und Konfidenzintervalle, also Balken, die zeigen, in welchem Bereich der wahre Wert vermutlich liegt.

Umsatz, Bestellwert und Anzahl der Bestellungen stehen laut Hilfe-Center nur im Bericht eines Launches, nicht in dem eines Experiments. Die Kennzahlen lassen sich nicht anpassen. Einen Export oder eine Schnittstelle für die Testdaten dokumentiert Shopify nicht. Eine Aufteilung nach Gerät oder Traffic-Quelle zeigt der Bericht ebenfalls nicht.

Rechenbeispiel, illustrativ, ohne Kundenzahlen. Ein Kosmetik-Shop testet die Grenze für Gratisversand: 49 Euro statt 79 Euro. Jede Variante bekommt im Testzeitraum 30.000 Sitzungen.

Rollouts zeigt: Conversion-Rate plus 15 Prozent. Der Umsatz pro Besuch ist gleichzeitig von 2,10 Euro auf 2,00 Euro gefallen, knapp 5 Prozent. Bei 60.000 Sitzungen im Monat fehlen dem Shop nach der Übernahme rund 6.000 Euro Umsatz im Monat, dazu kommen die Versandkosten, die er jetzt öfter selbst trägt.

Mehr Käufer mit kleineren Warenkörben ist genau das, was eine niedrigere Versandgrenze oder ein Rabatt auslösen kann. Deshalb entscheiden wir Tests nach Umsatz pro Besuch. Die Conversion-Rate schauen wir uns an, um zu verstehen, warum ein Test so ausgeht.

Solange ein Ergebnis nicht belastbar ist, steht unter Shopifys Konfidenzintervallen: „More data is needed for statistical confidence“. Welche Methode dahintersteckt, mit welchem Konfidenzniveau Shopify rechnet und ab wann der Hinweis verschwindet, steht nicht in der Dokumentation.

In einem Rollouts-Bericht, den ich mir angesehen habe, waren Shopifys Intervalle deutlich breiter als bei einem Standard-Test auf dieselben Zahlen. Ein einfacher Zwei-Proportionen-Test hätte das Ergebnis schon als signifikant gewertet, Shopify noch nicht. Das ist vorsichtig gerechnet. Beim Testen ist mir das lieber als das Gegenteil.

Vier Dinge helfen beim Lesen eines solchen Berichts:

1. Fragen Sie nach der Zahl der Bestellungen je Variante, bevor Sie über Prozente reden. Unter 300 Bestellungen pro Variante sind Nachkommastellen Dekoration.
2. Überlappende Balken heißen nicht automatisch „kein Unterschied“. Ob sich zwei Varianten unterscheiden, beantwortet ein Test auf die Differenz, nicht der Blick auf zwei einzelne Balken.
3. Legen Sie die Laufzeit vorher fest, mindestens zwei volle Wochen. Wer täglich hineinschaut und beim ersten grünen Pfeil stoppt, findet deutlich öfter einen Sieger, als es tatsächlich gibt.
4. Prüfen Sie, wie die Kennzahlen abgegrenzt sind. Liegt die Conversion-Rate höher als die Add-to-Cart-Rate, kann das heißen, dass Besucher am Warenkorb vorbei kaufen, etwa über Direktkauf-Buttons oder Express-Zahlarten. Dann lassen sich die Stufen des Funnels nicht einfach untereinander lesen.

Shopify schreibt es in einem Satz: „You can’t change Liquid templates as part of a rollout.“ Liquid ist die Sprache, in der ein Shopify-Theme gebaut ist. Darin steht, wie eine Seite aufgebaut ist und was wann angezeigt wird.

Im Rollout bearbeiten Sie die Variante im Theme-Editor. Damit ändern Sie alles, was Ihr Theme als Einstellung anbietet: Sektionen umstellen, ein- und ausblenden, Texte, Bilder, Farben, Abstände. Für einen neuen Hero auf der Startseite oder eine andere Reihenfolge auf der Produktseite reicht das.

Was das Theme nicht als Einstellung anbietet, geht so nicht. Ein Lieferdatum auf der Produktseite, das aus Uhrzeit und Versandregeln berechnet wird. Ein Stückpreis, der sich bei Mengenrabatt live mitrechnet. Ein Warenkorb, der sich anders verhält als bisher. Solche Änderungen brauchen Code, und Code heißt Liquid oder JavaScript im Theme.

Der Umweg: ein komplettes zweites Theme mit den Code-Änderungen bauen und im Rollout als Ersatz einsetzen. Dann läuft eine vollständige Theme-Kopie neben dem Live-Theme her, bis der Test vorbei ist, und Sie sind bei der 0-Prozent-Stolperfalle von oben, sobald parallel Theme-Änderungen laufen. Ob ein Custom-Liquid-Block, wie ihn viele Themes im Editor anbieten, im Rollout funktioniert, dokumentiert Shopify nicht. Getestet haben wir das nicht.

Für ein Testprogramm heißt das: Die einfachen Tests gehen mit Bordmitteln. Die Tests mit neuer Funktion auf der Seite laufen über ganze Ersatz-Themes.

Während ein Experiment läuft, sollte außerdem niemand die Kopien anfassen. Wer an Kontrolle oder Variante etwas ändert, beeinflusst laut Shopify das Ergebnis.

Hier hat Rollouts einen echten Vorteil. Die Variante kommt direkt vom Server, ohne zusätzliches Skript und ohne Flackern. Ein klassisches Test-Tool lädt Code im Browser nach.

Bei uns sind das rund 40 KB komprimiert, asynchron geladen, das Rendern der Seite blockiert es nicht. Für Änderungen im sichtbaren Bereich blenden wir die Seite bis zu 300 Millisekunden aus, damit niemand kurz das Original sieht. Das ist der Preis, und ich nenne ihn lieber, als ihn kleinzureden.

Ohne Code kommt aber auch Rollouts nicht aus, sobald Sie Umsatz je Variante wollen. Mein Rat für die Page-Speed-Frage: messen statt vermuten. Laden Sie dieselbe Seite 20 Mal mit und 20 Mal ohne Test-Skript, verteilt über den Tag, und schauen Sie dabei, welches Element die Ladezeit tatsächlich bestimmt. Das ist nicht immer das, was man vermutet.

Dann bauen Sie die Umsatzmessung dahinter. Das geht mit überschaubarem Aufwand:

1. Setzen Sie in beiden Theme-Kopien eine feste Kennung, „control“ in der Kontrolle und zum Beispiel „versand-49“ in der Variante.
2. Schreiben Sie die Kennung als Warenkorb-Attribut mit (Shopify Cart API, cart attributes). Dann steht an jeder Bestellung, welche Variante der Kunde gesehen hat.
3. Senden Sie die Kennung zusätzlich als Parameter an GA4. Mit dem BigQuery-Export haben Sie Umsatz und Sitzungen je Variante und können sie nach Gerät oder Kanal aufteilen.
4. Rechnen Sie vor dem Start aus, welchen Effekt Ihr Traffic in der geplanten Laufzeit überhaupt nachweisen kann, und zwar mit dem Anteil, der nach parallelen Rollouts wirklich übrig bleibt.
5. Entscheiden Sie nach Umsatz pro Besuch, und prüfen Sie die Übernahme vorher in einem Test-Shop.

Eine Einschränkung bleibt. Wie lange Shopify einen Besucher derselben Variante zuordnet, ist nicht dokumentiert. Die Kennung am Warenkorb zeigt deshalb die Variante zum Zeitpunkt des Warenkorbs, nicht zwingend die aller früheren Besuche.

Wir werden nur am nachgewiesenen Mehrumsatz beteiligt, gemessen im A/B-Test gegen die eigene Kontrollgruppe. Ein Test, der die Conversion-Rate hebt und den Umsatz senkt, ist für uns deshalb ein Verlierer, egal welche Farbe der Pfeil hat. Und ein Testprogramm braucht mehrere Tests gleichzeitig auf vollem Traffic, mit Gewinnern, die sauber ins Theme wandern.

Für Releases zum Stichtag ist Rollouts das richtige Werkzeug. Für das Testprogramm messen wir in Euro pro Besuch. Im 14-Tage Proof of Value zeigen wir das in Ihrem Shop, bevor Sie sich entscheiden.

Quellen

• Shopify Hilfe-Center: Rollouts, Arten von Rollouts, Rollout erstellen, Rollouts verwalten, Rollout-Analysen, Voraussetzungen, abgerufen am 18.09.2026
• Shopify Changelog: Schedule, publish, and A/B test new themes, 05.06.2026