METHODEN-DOSSIERMSC-P-004Grundlagen der EvidenzGeprüftes wissenschaftliches Dossier

Signifikanz oder Effektgröße: Welches Ergebnis ist zu interpretieren?

Der p-Wert misst die Vereinbarkeit der Daten mit einem Nullmodell. Die Effektgröße beschreibt die beobachtete Größenordnung und braucht Intervall sowie praktische Relevanzschwelle.

Direkte Antwort

Nachweis, Größenordnung und Präzision gemeinsam beurteilen.

Der p-Wert misst die Vereinbarkeit der Daten mit einem Nullmodell. Die Effektgröße beschreibt die beobachtete Größenordnung und braucht Intervall sowie praktische Relevanzschwelle.

American Statistical Association, 2016 Lakens, 2013

Die Entscheidungsregel

Interpretieren Sie stets vier Größen gemeinsam: Effektschätzung, Intervall, p-Wert des deklarierten Tests und vorab festgelegte praktische Relevanzschwelle. Ein kleiner p-Wert misst weder Größe noch Nutzen; ein großer belegt keine Abwesenheit.

American Statistical Association (2016)

Drei Leseebenen

1
Entscheidungsebene: Fragen Sie, ob das Intervall die Geschäftsschwelle überschreitet, nicht nur ob p unter 0,05 liegt.
2
Praxis: Berichten Sie absolute Differenz, relativen Lift, Intervall, p-Wert, Stichprobengrößen und Multiplizitätsregel.
3
Analyse: Definieren Sie Estimand, Stichprobenprozess, δ, Intervallniveau und Sensitivitätsanalyse.

Konkrete Marketingsituation

Ein Team vergleicht zwei Conversion-Raten und entscheidet über den Rollout. Die Änderung erfordert mindestens +1 Prozentpunkt. Die eigentliche Frage lautet: Welche Größen sind mit den Daten vereinbar und überschreiten diese Schwelle?

Exakte wissenschaftliche Frage

Wie groß ist in den deklarierten Populationen, Einheiten und Zeitfenstern die deskriptive Differenz Δ = πB − πA, mit welcher Präzision, und ist das Intervall mit null, einem nützlichen Effekt δ oder [−δ,+δ] vereinbar?

Warum p < 0,05 nicht genügt

Bei sehr großem n kann eine winzige Differenz einen kleinen p-Wert ohne wirtschaftlichen Wert erzeugen.
Ein nicht signifikantes Ergebnis kann zu unpräzise sein, um Abwesenheit, Schaden oder Nutzen zu unterscheiden.
δ erst nach Sichtung der Daten festzulegen macht die Geschäftsregel zur nachträglichen Rechtfertigung.

American Statistical Association (2016) Lakens, Scheel & Isager (2018)

Intuition vor den Gleichungen

Der p-Wert beantwortet eine Vereinbarkeitsfrage unter einem deklarierten Nullmodell; er ist nicht die Wahrscheinlichkeit, dass H0 wahr ist.
Die Effektgröße gibt die Größenordnung auf einer gewählten Skala an; das Intervall zeigt noch mit Daten und Modell vereinbare Werte.
Die Schwelle δ übersetzt Kosten, Marge oder Risiko in eine minimale nützliche Differenz; sie ist keine universelle Konstante.

Lakens (2013)

Benötigte Daten

Zwei unabhängige Binomialgruppen, nA/nB und Conversions yA/yB; keine kausale Zuweisung wird behauptet.
Gleiche Conversion-Definition, gleiches Beobachtungsfenster und ausdrücklich vergleichbare Populationen.
Praktische Schwelle δ = 1 Prozentpunkt vor der Analyse; Alpha = 5 % und Testfamilie deklariert.

Formales Modell und Symbole

Effekt

πA,πB; Δ=πB−πAp̂A=yA/nA; p̂B=yB/nB; Δ̂=p̂B−p̂A; lift=Δ̂/p̂A

nA,nB: Einheiten; yA,yB: Conversions; π: Populationsparameter; p̂: beobachtete Rate; Δ: Estimand; Δ̂: Schätzer; δ: vorab festgelegte minimale nützliche Differenz.

Unsicherheit

H0:Δ=0; p̂pool=(yA+yB)/(nA+nB); SE0=√[p̂pool(1−p̂pool)(1/nA+1/nB)]; z=Δ̂/SE0; p=2Φ(−|z|)SE=√[p̂A(1−p̂A)/nA+p̂B(1−p̂B)/nB]; CI95=Δ̂±z0.975SE; CI90=Δ̂±z0.95SETOST: H01:Δ≤−δ; H02:Δ≥+δ; max(p1,p2)<α

α ist das deklarierte Fehlerniveau erster Art; Φ die Standardnormalverteilung; zq ihr q-Quantil. Das Wald-KI wird hier nur bei großen Zählwerten verwendet; bei fragiler Approximation ist eine Score-Methode vorzuziehen.

Fagerland, Lydersen & Laake (2015) Lakens, Scheel & Isager (2018)

Deklarierte Berechnung, Schritt für Schritt

01
Population, Fenster, Metrik, Alpha, Multiplizität und δ vor Ergebnissen festlegen.
02
Raten, Δ in Prozentpunkten und relativen Lift berechnen, ohne die Einheit zu wechseln.
03
p unter H0:Δ=0 und das 95%-KI berechnen; für Äquivalenz [−δ,+δ] mit zwei einseitigen Tests prüfen.
04
Ergebnis relativ zu null und δ klassifizieren und Entscheidung samt Nichtaussagen dokumentieren.

Vier Ergebnisse mit unterschiedlicher Bedeutung

Synthetische Illustration — Lehrwerte, nicht beobachtet

Vier Ergebnisse mit unterschiedlicher Bedeutung
Szenario	Zählwerte A → B	Raten A → B	Δ̂	Relativer Lift	p	IC95	IC90	TOST p	Entscheidung
`detectable_negligible`	500000/50000 → 500000/51000	10.000% → 10.200%	0.200 pp	2.000%	0.0009046	[0.0819; 0.3181]	[0.1009; 0.2991]	1.62e-40	`detectable-but-negligible`
`inconclusive`	1000/100 → 1000/120	10.000% → 12.000%	2.000 pp	20.000%	0.152918	[-0.7411; 4.7411]	[-0.3004; 4.3004]	0.762700	`inconclusive`
`practically_convincing`	10000/1000 → 10000/1250	10.000% → 12.500%	2.500 pp	25.000%	2.21e-8	[1.6248; 3.3752]	[1.7655; 3.2345]	0.999609	`practically-convincing-benefit`
`practically_equivalent`	50000/5000 → 50000/5025	10.000% → 10.050%	0.050 pp	0.500%	0.792373	[-0.3223; 0.4223]	[-0.2624; 0.3624]	2.85e-7	`practically-equivalent`

Das erste Szenario verwirft sowohl Δ=0 als auch Effekte von mindestens 1 Prozentpunkt: Es ist statistisch nachweisbar und liegt in der praktischen Vernachlässigbarkeitszone. Dieses Doppelergebnis folgt nie allein aus dem Punktschätzer.

CSV Python · MIT R · MIT SPSS · MIT SAS · MIT

Gültigkeitsannahmen

Sind Einheiten innerhalb und zwischen Gruppen unabhängig? Falls nicht: Berücksichtigt die Varianz die tatsächliche Abhängigkeit?
Hat jede Einheit ein binäres Ergebnis, eine stabile Wahrscheinlichkeit in ihrer Gruppe und genau eine Beobachtung im Zeitfenster?
Sind die Zählwerte groß genug für die Normalapproximation? Falls nicht: Wird eine passende Binomial- oder Score-Methode verwendet?
Stammt δ aus einer dokumentierten, vor der Analyse festgelegten Wertfunktion statt aus dem beobachteten Ergebnis?

Diagnostik und Unsicherheit

Alle vier Binomialzählungen, Nenner und fehlende Einheiten-Duplikate prüfen.

95%-KI für Δ und 90%-KI für TOST berichten; übermäßige Breite bedeutet unzureichende Information.

Lesart für vertretbare δ-Werte und vorab deklarierte Multiplizitätskorrektur wiederholen.

Ergebnis interpretieren

Nachweisbar, aber vernachlässigbar: null ist ausgeschlossen und das 90%-KI liegt vollständig in [−δ,+δ]; der Punktschätzer allein genügt nicht.
Unentschieden: Das Intervall enthält null und nützliche Effekte; mehr Daten oder Entscheidung unter explizitem Risiko.
Praktisch überzeugend: Das 95%-KI überschreitet δ in nützlicher Richtung unter den deklarierten Annahmen.
Praktisch äquivalent: Das 90%-KI liegt in [−δ,+δ] und beide einseitigen Tests bestehen.

Vertretbare und unzulässige Schlussfolgerungen

Vertretbar

Größe und Präzision für beobachtete Populationen beschreiben.
Angeben, welche nützlichen oder vernachlässigbaren Werte mit den Daten vereinbar bleiben.

Unzulässig

Signifikanz in Wichtigkeit, Wahrscheinlichkeit von H0 oder Kausalität umdeuten.
p ≥ 0,05 ohne begründeten Äquivalenztest als Abwesenheitsbeleg interpretieren.

Mögliche Marketingentscheidung

01
Nur ausrollen, wenn der plausible Bereich die Wertschwelle überschreitet und operative Risiken akzeptabel sind.
02
Wegen Nutzlosigkeit nur stoppen, wenn praktische Äquivalenz um ein vertretbares δ gestützt ist.
03
Sonst als unentschieden behandeln und zwischen mehr Daten, begrenztem Pilot oder risikobasierter Entscheidung wählen.

Wann einsetzen und wann nicht

Einsetzen

Durch den Analyseplan bereits begründete Vergleiche zweier unabhängiger Anteile.
Entscheidungslesart nach Prüfung von Design, Daten und Multiplizität.

Nicht einsetzen

Zur Testwahl: siehe MSC-P-039.
Für Power und n: MSC-P-012; für Kausalität: MSC-P-013.

Reproduzierbare Implementierungen

Python 3.13 · Referenz

python msc-p004-reference.py --csv msc-p004-significance-effect-size.csv

R 4.5 · Referenz

Rscript msc-p004-reference.R msc-p004-significance-effect-size.csv

SPSS 31 · sekundär

INSERT FILE='msc-p004-reference.sps'.

SAS 9.4 · sekundär

%include 'msc-p004-reference.sas';

Python und R sind die geprüften ausführbaren Referenzen. Die sekundären SPSS- und SAS-Syntaxen verwenden dieselben Zählwerte, Formeln und Entscheidungsregeln; vor operativer Nutzung in der jeweiligen Umgebung ausführen.

Erwartetes Endergebnis

01
Frage, Population, Einheit, Fenster und Design.
02
Absolutes Δ, relativer Lift, p-Wert, 95%-KI und vorab deklariertes δ.
03
Entscheidungsklasse, Annahmen, Multiplizität, Grenzen und unmögliche Entscheidung.

Wissenschaftliche Quellen und Evidenzniveau

American Statistical Association (2016)Institutionelle Erklärung
Der p-Wert misst weder Größe noch Bedeutung und soll nicht allein entscheiden.
Lakens (2013)Methodischer Artikel, CC BY
Effektgrößen vermitteln Größenordnung und unterstützen Vergleich, Synthese und Planung.
Lakens, Scheel & Isager (2018)Methodisches Tutorial, Open Access
Äquivalenz erfordert Grenzen anhand des kleinsten interessierenden Effekts und zwei einseitige Tests.
Fagerland, Lydersen & Laake (2015)Methodischer Review
Das Wald-KI für zwei Anteile erfordert große Zählwerte und ist weniger robust als Score-Intervalle.

Methodische Verbindungen

Übergeordnetes GebietStatistische Entscheidungsmethoden: wählen, quantifizieren, validieren