Wie misst man den inkrementellen Kampagneneffekt mit einer Kontrollgruppe?

Welche Conversion-Differenz erzeugt die Zuweisungspolitik in der geeigneten Population und im vorab festgelegten Fenster, mit welcher Präzision und gegenüber welcher Wertschwelle?

Population: vor der Zuweisung geeignete Einheiten. Einheit: tatsächlich randomisierter Kunde, Cookie, Standort oder Region. Horizont: 14 Tage im Beispiel. Jede Einheit verbleibt im zugewiesenen Arm.

Primärer Estimand ist der mittlere Zuweisungseffekt ITT = E[Y(1)−Y(0)]. Randomisierung zielt auf Ausgangsaustauschbarkeit; Konsistenz, Positivität und fehlende Interferenz bleiben erforderlich.

Einheiten-ID, Eignung, Zuweisung, Ergebnis, Beobachtungsstatus, Exposition, Fenster und vorab beschlossene Ausschlüsse aufbewahren. Aggregate allein diagnostizieren keine Duplikate, Ausfälle oder Kontamination.

Die Zuweisungsfolge muss unvorhersehbar und auf die deklarierte Einheit angewandt sein; Test und Kontrolle müssen klar definiert sein; Nachbeobachtung darf nicht armabhängig sein; Interferenz erfordert ein eigenes Modell.

Bei binärem Ergebnis gilt p̂1=y1/n1 und p̂0=y0/n0. Primärer Effekt ist Δ̂=p̂1−p̂0. Lift ist Δ̂/p̂0; inkrementelle Test-Conversions sind n1×Δ̂. Nenner stets deklarieren.

CSV lesen, zwei eindeutige Arme und Nenner prüfen, Raten aus Zählwerten neu berechnen, Δ̂, Standardfehler und Intervall berechnen, erst dann Lift und inkrementelles Volumen. Kein Seed: Das Beispiel enthält realisierte Zählwerte.

Kontrolle: 1.600/20.000 = 8,00 %. Test: 1.900/20.000 = 9,50 %. ITT = +1,50 Prozentpunkte; Lift = 18,75 %; 300 inkrementelle Test-Conversions.

Die Normalapproximation ergibt SE=0,2826 Punkte und 95-%-KI [0,946; 2,054]. Bei kleinen Zählwerten Score-Intervall verwenden; bei Clusterzuweisung Varianz auf Randomisierungsebene schätzen.

Im Testarm gibt es 17.400 Expositionen bei 20.000 Zuweisungen. ITT behält alle Einheiten. Beschränkung auf Exponierte ändert den Estimand und führt Post-Randomisierungsselektion ein.

Im Referenzdatensatz fehlen keine Ergebnisse. In Produktion Fehlwerte nach Arm berichten, Mechanismus erklären und begrenzte Sensitivität durchführen. Differenzielles Löschen kann den Randomisierungsvorteil aufheben.

Erwartetes Stichprobenverhältnis, Duplikate, Vorbehandlungsbalance, Tracking, Kontamination, Interferenz und Fenster prüfen. Dies diagnostiziert das Protokoll und ersetzt nicht die Schätzung.

Typische Fehler: Exponierte als randomisiert behandeln, Nichtkonvertierte nachträglich ausschließen, absolute Differenz Lift nennen, ITT mit falscher Population multiplizieren, früh stoppen oder Multiplizität ignorieren.

Unter dem deklarierten Protokoll ist der Bereich mit positivem Politikeffekt für diese Population und dieses Fenster vereinbar. Er beschreibt weder nur Exponierte noch Persistenz über 14 Tage oder Übertragbarkeit.

Untere ITT-Grenze mit vorab festgelegter Wertschwelle vergleichen und unter Kosten, Risiko und Kapazität Rollout, weiteren Pilot oder Stopp wählen. Die Entscheidung bleibt menschlich.

Effekt nicht nur Exponierten, einem Kanal einer Multichannel-Kampagne, Nachfrageerzeugung statt Zeitverschiebung oder künftiger Leistung außerhalb von Population und Fenster zuschreiben.