Der Traffic wird per Zufall auf beide Varianten aufgeteilt, meist 50/50, und ein Tool prüft nach ausreichend Datenmenge, ob der Unterschied statistisch signifikant ist oder nur Zufall. Google Optimize, früher Standard-Tool dafür, wurde 2023 eingestellt; gängige Alternativen sind heute VWO, Convert oder AB Tasty.
Ein typisches Beispiel: Ein Webshop testet "In den Warenkorb" gegen "Jetzt kaufen" als Button-Text. Erst ab einigen hundert Conversions pro Variante liefert der Test ein belastbares Ergebnis – bei zehn Besuchern am Tag ist ein A/B-Test schlicht die falsche Methode, weil es Monate dauert, bis genug Daten für Signifikanz zusammenkommen.
Der häufigste Fehler ist, einen Test abzubrechen, sobald eine Variante kurz vorne liegt – das ist meist noch Rauschen, keine Signifikanz. A/B-Testing ist außerdem nur ein Werkzeug innerhalb der Conversion-Optimierung (CRO); es beantwortet, was besser funktioniert, aber Heatmaps und Nutzerinterviews liefern oft erst die Idee, was man überhaupt testen sollte.
