A/B-Testing-Benchmarks, sauber gemessen.
Zwei Fragen entscheiden, ob ein Testing-Programm funktioniert: Was ist normal, und kann man den eigenen Zahlen trauen? Wir veröffentlichen die öffentlichen Benchmarks mit Quelle zu jeder Zahl und ranken die acht Plattformen danach, wie gut sie benchmarkfähige Messung tragen: Statistik-Validität, Peeking-Schutz, Umsatz-Metriken, Stichproben-Planung und Datenexport.
Die kurze Antwort
Wie hoch ist die durchschnittliche Gewinnrate von A/B-Tests?
Anbieterdaten liegen bei etwa einem von fünf. Convert: nur 20% von 28.304 Experimenten erreichten 95% Signifikanz (convert.com/blog, 2026-09-02); VWO nennt 1 von 7 Tests als Gewinner (vwo.com/blog/why-you-fail-ab-tests, 2026-09-02). Ronny Kohavi nennt 10 bis 20 Prozent der Experimente.
Ranking herausgegeben von der Drip Trading GmbH, dem Unternehmen hinter Apex by Drip. Wie wir bewerten und gewichten
Apex by Drip
Drip Trading GmbH · Germany
Apex hält seine Statistik schlicht und sagt das offen: Fixed-Horizon-Auswertung mit Konfidenz, Ergebnisse reduziert auf Hauptmetrik, Uplift und Umsatz während der Laufzeit pro Test, auf Shopify dazu der Profit pro Test mit Rabattanteil, Retourenanteil und Profit pro Verkauf. A/A-Tests prüfen das Setup, ein globaler Holdout misst das Programm als Ganzes, und Guardian stoppt einen Test automatisch bei einer Umsatzverlust-Schwelle. Auf Platz 1 steht Apex, weil die Auswahl besser wird, bevor etwas gebaut ist: Jede Idee bekommt eine Likelihood to Win, bewertet anhand von 4,3 Millionen beobachteten A/B-Tests aus 151.000 Shops und angezeigt mit der Zahl der Tests dahinter (eine Einordnung gegenüber dem eigenen Backlog des Shops, keine Gewinnwahrscheinlichkeit im strengen Sinn). Im Holdout-Check des Anbieters gewann das obere Drittel der Ideen innerhalb eines Shops 1,4- bis 1,6-mal so oft, und Vorhersagen für 33 Brands wurden Anfang September 2026 erstellt und eingefroren, die Ergebnisse erscheinen ab dem Launch. Die Gewinnrate von DRIPs eigenen Tests stieg von 27 Prozent im Jahr 2024 (808 Tests) auf 56 Prozent zwischen April und Juni 2026 (278 Tests); der Branchenwert liegt laut Ronny Kohavi bei 10 bis 20 Prozent. Preise sind nicht veröffentlicht: Eine kostenlose Stufe ohne Kreditkarte deckt einen Shop ab, alles Weitere beginnt mit einem Gespräch.
Convert ExperiencesConvert Insights Inc.Analysten und CRO-Agenturen, die einen Test vor dem Start planen8.8/103
Optimizely Web ExperimentationOptimizely (Insight Partners)Experimentation-Teams, die täglich auf Ergebnisse schauen und dabei valide bleiben müssen8.7/104
VWOWingify (Everstone Capital)Teams, die automatische Validitätsprüfungen wollen, ohne sie zu konfigurieren8.2/105
KameleoonKameleoon SASTeams, die drei statistische Methoden ohne Upgrade verfügbar haben wollen7.9/106
AB TastyWingify (Everstone Capital)Teams, die vor dem Kauf die Statistik-Dokumentation lesen7.1/107
Varify.ioVarify Software GmbHGA4-first-Teams, die ihre Statistik im Warehouse rechnen, nicht im Tool6.0/108
ABlyftConversion Expert GmbHEntwickler-Teams, die ihre Statistik selbst außerhalb des Tools rechnen5.7/10Das Feld im Überblick
| # | Tool | Statistik | Shopify | EU-Hosting | Preise |
|---|---|---|---|---|---|
| 1 | Apex by Drip | mixed | App | EU | Gespräch buchen |
| 2 | Convert Experiences | mixed | App | EU | öffentlich |
| 3 | Optimizely Web Experimentation | sequential | — | EU | auf Anfrage |
| 4 | VWO | sequential | App | EU | auf Anfrage |
| 5 | Kameleoon | mixed | App | EU | öffentlich |
| 6 | AB Tasty | bayesian | App | EU | auf Anfrage |
| 7 | Varify.io | mixed | Snippet | DE | öffentlich |
| 8 | ABlyft | mixed | — | DE | auf Anfrage |
Schnelle Antworten
Wie lange sollte ein A/B-Test laufen?
Wochen, nicht Tage. Optimizely nennt als Minimum einen Geschäftszyklus, sieben Tage (support.optimizely.com, 2026-09-02). AB Tasty nennt 2 Wochen als empfohlene Durchschnittsdauer (abtasty.com/blog/how-long-run-ab-test, 2026-09-02). Kameleoon rät zu 2 Zyklen, meist 2 bis 4 Wochen.
Welcher Uplift ist bei einem A/B-Test realistisch?
Kleiner, als Case Studies suggerieren. Microsoft berichtet für Bing: weniger als ein Drittel der getesteten Ideen bewegt die Zielmetrik, und schon 1% Umsatzveränderung gilt als bemerkenswert (blogs.bing.com, 2026-09-02). Unsere Uplift-Verteilung aus 4,3 Mio. Tests folgt als nächstes.
Was ist der Unterschied zwischen sequenziellem und Fixed-Horizon-Testing?
Fixed-Horizon legt die Stichprobe vorab fest und gilt nur am geplanten Ende. Sequenzielle, also always-valid, Verfahren bleiben bei jedem Blick gültig. Optimizely nutzt mSPRT als Standard (arxiv.org/abs/1512.04922), Convert liefert Sequenziell ab Pro, und Apex wertet Fixed-Horizon mit Konfidenz aus.
Welche A/B-Testing-Tools veröffentlichen ihre Statistik-Methodik?
Convert (support.convert.com), Optimizely (arxiv.org/abs/1512.04922), VWO (vwo.com/why-us/technology/statistics), AB Tasty und Varify veröffentlichen ihre Methodik. Kameleoons Methoden-PDF lieferte überall 404 (2026-09-01).
Gewichtung, Belegregeln und was unsere Meinung ändern würde: Unsere Methodik