¿Cómo medir el efecto incremental de una campaña con un grupo de control?

Para la población elegible y la ventana predefinida, ¿qué diferencia de conversión produce la política de asignación, con qué precisión y frente a qué umbral de valor?

Población: unidades elegibles antes de la asignación. Unidad: cliente, cookie, tienda o geografía realmente aleatorizada. Horizonte: 14 días en el ejemplo. Cada unidad permanece en su grupo asignado.

El estimando primario es el efecto medio de la asignación, ITT = E[Y(1)−Y(0)]. La aleatorización busca intercambiabilidad inicial; coherencia, positividad y ausencia de interferencia siguen siendo necesarias.

Conservar identificador, elegibilidad, asignación, resultado, estado de observación, exposición, ventana y exclusiones predefinidas. Los agregados por sí solos no diagnostican duplicados, pérdidas o contaminación.

La secuencia debe ser imprevisible y aplicarse a la unidad declarada; tratamiento y control deben estar bien definidos; el seguimiento no debe depender del grupo; la interferencia exige un modelo explícito.

Para un resultado binario, p̂1=y1/n1 y p̂0=y0/n0. El efecto primario es Δ̂=p̂1−p̂0. El lift es Δ̂/p̂0; las conversiones incrementales en prueba son n1×Δ̂. Declarar siempre el denominador.

Leer el CSV, comprobar dos grupos y denominadores, recalcular tasas desde recuentos, calcular Δ̂, error estándar e intervalo, y después lift y volumen incremental. No hay semilla: son recuentos realizados.

Control: 1.600/20.000 = 8,00%. Prueba: 1.900/20.000 = 9,50%. ITT = +1,50 puntos; lift = 18,75%; 300 conversiones incrementales en prueba.

La aproximación normal da SE=0,2826 puntos e IC95 [0,946; 2,054]. Con pocos recuentos usar un intervalo de puntuación; con asignación por conglomerados, estimar la varianza al nivel de aleatorización.

El grupo de prueba tiene 17.400 exposiciones sobre 20.000 asignaciones. El ITT conserva todas las unidades. Restringir a expuestos cambia el estimando e introduce selección posterior.

El dataset no tiene resultados faltantes. En producción, informar faltantes por grupo, explicar su mecanismo y realizar sensibilidad acotada. La eliminación diferencial puede romper la ventaja de la aleatorización.

Comprobar proporción muestral, duplicados, equilibrio previo, tracking, contaminación, interferencia y ventana. Son diagnósticos del protocolo, no sustituyen la estimación.

Errores típicos: tratar expuestos como aleatorizados, excluir no convertidos, llamar lift a una diferencia absoluta, multiplicar ITT por población errónea, detenerse pronto o ignorar multiplicidad.

Bajo el protocolo declarado, el rango es compatible con un efecto positivo de la política para esta población y ventana. No describe solo expuestos, persistencia más allá de 14 días ni transporte.

Comparar el límite inferior del ITT con un umbral fijado antes del análisis y elegir despliegue, otro piloto o parada incluyendo coste, riesgo y capacidad. La decisión sigue siendo humana.

No atribuir el efecto solo a expuestos, a un canal de una campaña multicanal, a creación de demanda frente a desplazamiento temporal ni a rendimiento futuro fuera de población y ventana.