Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?

Per la popolazione eleggibile e la finestra prefissata, quale differenza di conversione produce la politica di assegnazione, con quale precisione e rispetto a quale soglia di valore?

Popolazione: unità eleggibili prima dell’assegnazione. Unità: cliente, cookie, punto vendita o area realmente randomizzata. Orizzonte: 14 giorni nell’esempio. Ogni unità resta nel gruppo assegnato.

L’estimando primario è l’effetto medio dell’assegnazione, ITT = E[Y(1)−Y(0)]. La randomizzazione mira all’interscambiabilità iniziale; coerenza, positività e assenza di interferenza restano necessarie.

Conservare identificativo, eleggibilità, assegnazione, esito, stato di osservazione, esposizione, finestra ed esclusioni predefinite. I soli aggregati non diagnosticano duplicati, perdite o contaminazione.

La sequenza deve essere imprevedibile e applicata all’unità dichiarata; trattamento e controllo devono essere ben definiti; il follow-up non deve dipendere dal gruppo; l’interferenza richiede un modello esplicito.

Per un esito binario, p̂1=y1/n1 e p̂0=y0/n0. L’effetto primario è Δ̂=p̂1−p̂0. Il lift è Δ̂/p̂0; le conversioni incrementali nel test sono n1×Δ̂. Dichiarare sempre il denominatore.

Leggere il CSV, verificare due gruppi e denominatori, ricalcolare i tassi dai conteggi, calcolare Δ̂, errore standard e intervallo, poi lift e volume incrementale. Nessun seme: sono conteggi realizzati.

Controllo: 1.600/20.000 = 8,00%. Test: 1.900/20.000 = 9,50%. ITT = +1,50 punti; lift = 18,75%; 300 conversioni incrementali nel test.

L’approssimazione normale dà SE=0,2826 punti e IC95 [0,946; 2,054]. Con piccoli conteggi usare un intervallo score; con randomizzazione cluster, stimare la varianza al livello di assegnazione.

Il test ha 17.400 esposizioni su 20.000 assegnazioni. L’ITT conserva tutte le unità e stima l’effetto della politica. Limitarsi agli esposti cambia estimando e introduce selezione post-randomizzazione.

Nel dataset non mancano esiti. In produzione, riportare i mancanti per gruppo, spiegarne il meccanismo e svolgere una sensibilità limitata. La cancellazione differenziale può annullare il vantaggio della randomizzazione.

Controllare rapporto campionario, duplicati, equilibrio pretrattamento, tracking, contaminazione, interferenza e finestra. Sono diagnostiche del protocollo, non sostituti della stima.

Errori tipici: trattare gli esposti come randomizzati, escludere non convertiti, chiamare lift una differenza assoluta, moltiplicare ITT per la popolazione sbagliata, fermarsi presto o ignorare la molteplicità.

Nel protocollo dichiarato, l’intervallo è compatibile con un effetto positivo della politica per questa popolazione e finestra. Non descrive gli esposti soltanto, la persistenza oltre 14 giorni o il trasporto.

Confrontare il limite inferiore ITT con una soglia fissata prima dell’analisi, poi scegliere rilascio, altro pilota o arresto includendo costi, rischi e capacità. La decisione resta umana.

Non attribuire l’effetto ai soli esposti, a un singolo canale multicanale, alla creazione di domanda invece che allo spostamento temporale o a prestazioni future fuori popolazione e finestra.