Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?
Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.
Direkte Antwort
Einen ITT mit bekannter Präzision für die berechtigte Population schätzen.
Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.
01
Direkte Antwort
Ein glaubwürdiger A/B-Test wird vor Exposition anhand Primärmetrik, MDE, Alpha, Power, Randomisierungseinheit und Ausfall geplant. Für 8,0 % versus 8,7 % sind 24.516 Einheiten je Arm nötig, angepasst 31.326.
02
Wissenschaftliche Frage
Wie viele Einheiten je Arm müssen randomisiert werden, um eine vorab festgelegte absolute Differenz eines binären Outcomes zu erkennen?
03
Population, Einheit und Horizont
Einheit ist die geeignete Randomisierungseinheit, im zugewiesenen Arm über ein festes Fenster analysiert. Nutzer, Haushalt, Filiale und Region sind nicht austauschbar.
04
Estimand und Metrik
Primärer Estimand ist die absolute ITT-Differenz p₁−p₀. Der MDE von 0,7 Punkten bzw. 8,75 % relativ ist eine Entscheidungsgröße, keine Prognose.
05
Benötigte Daten
Benötigt werden Population, Baseline-Rate, MDE, Primärmetrik und Fenster, Alpha, Power, Zuteilung, Ausfall, Clustering, Kontamination und Traffic.
06
Annahmen
Zwei unabhängige Arme, 1:1, binäres Outcome, zweiseitiger Test, passende Normalapproximation, ITT und keine Wiederverwendung. Cluster und Wiederholungsmessungen brauchen andere Berechnungen.
07
Planungsformel
n≈[z₁₋α/2√(2p̄(1−p̄))+z₁₋β√(p₀(1−p₀)+p₁(1−p₁))]²/(p₁−p₀)² mit p̄=(p₀+p₁)/2.
08
Reproduzierbare Berechnung
Mit p₀=0,08, p₁=0,087, α=0,05 und Power 0,80: z=1,959964 und 0,841621. Das Skript berechnet 24.515,438 und rundet auf.
09
Planungsergebnisse
Rohgröße: 24.516 je Arm. Mit Designeffekt 1,15 und 10 % Ausfall: 31.326 je Arm, 62.652 insgesamt.
| Baseline | Target | Raw / arm | Adjusted / arm | Total |
|---|---|---|---|---|
| 8.0% | 8.7% | 24,516 | 31,326 | 62,652 |
10
Planungsunsicherheit
Die Größe reagiert stark auf Baseline und MDE. Über plausible Bereiche neu berechnen, aufrunden und Traffic sowie Ausfall als Machbarkeitsrisiko behandeln.
11
Protokoll vor Start
Population, Einheit, Varianten, Primärmetrik, Fenster, MDE, Größe, Stoppregel, Ausschlüsse, ITT, fehlende Daten und Stichprobenverhältnis vorab fixieren.
12
Diagnostik
Nach Start Zuteilungsintegrität, Stichprobenverhältnis, Kontamination, differenziellen Ausfall, Outcome-Verfügbarkeit, Exposition und Änderungsprotokoll prüfen.
13
Häufige Fehler
Fehler sind MDE für kleine n zu wählen, Peeking, viele Metriken, Nutzer zu randomisieren aber Sessions zu analysieren, bei p<0,05 zu stoppen oder nach Zuteilung auszuschließen.
14
Interpretation
80 % Power bedeutet 80 % Wahrscheinlichkeit, H0 beim exakt geplanten Effekt und den Annahmen abzulehnen, nicht 80 % Chance, dass die Variante besser ist.
15
Vertretbare Entscheidung
Entscheiden, ob der Test machbar ist, welcher MDE entscheidungsrelevant ist und wie viel Traffic und Zeit vor Start nötig sind.
16
Unzulässige Entscheidung
Die berechnete Größe beweist weder Biasfreiheit, Metrikrelevanz noch realen Effekt und keine Kausalität bei beschädigter Randomisierung oder ITT.
17
Implementierung
Das CC0-CSV dokumentiert das Design; MIT-Python nutzt die Standardnormalverteilung, weist ungültige Parameter ab, rundet auf und berichtet rohe sowie angepasste Größe.
CSV · CC0
msc-p011-ab-design.csv ↓Python · MIT
msc-p011-reference.py ↓18
Erwartetes Ergebnis
Frage, Population, Einheit, Varianten, Metrik und Fenster, absoluter/relativer MDE, Alpha, Power, Formel, Anpassungen, Traffic, Dauer, Diagnostik, Analyse und Entscheidungsregel.
19
Wissenschaftliche Quellen
Cohen begründet Power; CONSORT verlangt Dokumentation von Stichprobengröße, Outcomes, Randomisierung, analysierten Zahlen und Präzision. Keine Quelle prognostiziert 8,7 %.
- Cohen (1992) ↗Full text verified
- Moher et al. (2010) ↗Full text verified
Datensatz · Werkzeug
Methodische Verbindungen