Was ist Randomisierung?
Randomisierung ist der Prozess der Verwendung von Zufallsmethoden, um Probanden den Behandlungsgruppen zuzuweisen. Bei einem A/B-Test wären das in der Regel Nutzer (potenzielle Kunden) oder Kunden. Wenn die Zielgruppen gleich groß sind, hat durch die Randomisierung jeder Teilnehmer an einem Experiment die gleiche Wahrscheinlichkeit, einer der Gruppen zugewiesen zu werden.
In diesem Sinne ist die Randomisierung nicht zufällig, sondern einfach ein Prozess, dessen Ergebnisse nicht einem deterministischen Muster folgen, sondern einer Entwicklung, die durch eine Wahrscheinlichkeitsverteilung beschrieben wird. Eine Zufallsstichprobe von Nutzern Ihrer Website bezieht sich also auf eine Stichprobe, bei der jedes Individuum eine bekannte Wahrscheinlichkeit hat, in die Stichprobe aufgenommen zu werden. Die Nutzer wurden nicht willkürlich ausgewählt.
Die Randomisierung ist ein Schlüsselelement jedes randomisierten kontrollierten Experiments, einschließlich eines kontrollierten Online-Experiments, da sie die Gültigkeit jeder statistischen Berechnung (z. B. eines Signifikanztests, der anschließend durchgeführt wird) sicherstellt, da viele der statistischen Methoden davon ausgehen, dass eine Randomisierung durchgeführt wurde und alle fehlerverursachenden Faktoren zufällig verteilt sind. Die Bedeutung der Randomisierung wurde erstmals von Ronald Fisher hervorgehoben, der sie als eine Methode zur Kontrolle der unbekannten Ursachen für die Variation des interessierenden Parameters einführte. Mit Hilfe der Randomisierung können wir ein statistisches Modell erstellen, in dem die Ergebnisvariable als Zufallsvariable modelliert werden kann. Dies ist darauf zurückzuführen, dass alle unbekannten Störvariablen die gleiche Wahrscheinlichkeit haben, sich auf jede Testgruppe auszuwirken (unter der Annahme einer gleichmäßigen Zuteilung).
Die Randomisierung stellt auch sicher, dass die Verteilung der Nutzer auf die Testgruppen eine unabhängige Variable in Bezug auf die Testintervention ist: Kein Nutzer oder keine Gruppe von Nutzern wird aufgrund erwünschter oder unerwünschter Merkmale (z. B. Standort, Browser, Verbindungsgeschwindigkeit) bevorzugt einer bestimmten Gruppe zugeordnet.
Auch wenn die Randomisierung bei größeren Stichprobengrößen zu einer Gleichverteilung der Faktoren tendiert, garantiert sie nicht die Gleichverteilung aller relevanten Faktoren (z. B. Verkehrsquelle, Standort, Gerät, Browser). Eine Gleichverteilung ist keine notwendige Voraussetzung für eine gültige statistische Analyse, da die Wahrscheinlichkeit einer ungleichen Verteilung in der resultierenden Statistik berücksichtigt wird.
Randomisiertes Blocking kann eingesetzt werden, wenn bekannt ist, dass ein oder mehrere Faktoren in kausalem Zusammenhang mit dem interessierenden Parameter stehen, jedoch ist es angesichts der kontinuierlichen Natur der Datenerhebung bei A/B-Tests in der Praxis oft schwierig, die Faktoren auszugleichen. Außerdem führen Blocking und reine Randomisierung angesichts der Stichprobengröße der meisten Online-A/B-Tests zur gleichen Verteilung der Hauptfaktoren. Wenn man ein Blockdesign verwendet, sollten geeignete Methoden eingesetzt werden, da eine naive p-Wert-Berechnung, die das Blocking nicht berücksichtigt, wahrscheinlich deutlich unterschätzt, wie unerwartet das Ergebnis ist.