Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?

Pour la population éligible et la fenêtre fixée avant lancement, quelle différence de conversion la politique d’assignation produit-elle, avec quelle précision, et cette plage est-elle compatible avec le seuil de valeur défini ?

Population : unités éligibles avant assignation. Unité : client, cookie, magasin ou géographie réellement randomisé. Horizon : 14 jours dans l’exemple. Une unité reste dans son groupe assigné jusqu’à l’analyse.

L’estimand primaire est l’effet moyen de l’assignation, ITT = E[Y(1)−Y(0)]. La randomisation vise l’échangeabilité des groupes au départ ; cohérence, positivité et absence d’interférence restent nécessaires à l’interprétation.

Conserver l’identifiant d’unité, l’éligibilité, l’assignation, le résultat, son statut d’observation, l’exposition, la fenêtre et les exclusions décidées avant le test. Les comptes agrégés ne suffisent pas à diagnostiquer doublons, attrition ou contamination.

La séquence d’assignation doit être imprévisible et appliquée à l’unité déclarée ; le traitement et le contrôle doivent être bien définis ; le suivi ne doit pas dépendre différentiellement du groupe ; une unité ne doit pas modifier le résultat d’une autre sans modèle d’interférence.

Pour un résultat binaire, p̂1=y1/n1 et p̂0=y0/n0. L’effet primaire est Δ̂=p̂1−p̂0. Le lift est Δ̂/p̂0 ; les conversions incrémentales dans le test valent n1×Δ̂. Toujours déclarer le dénominateur.

Lire le CSV, vérifier deux bras uniques et les dénominateurs, recalculer les taux depuis les comptes, calculer Δ̂, son erreur-type et l’IC, puis seulement dériver lift et volume incrémental. La graine n’intervient pas : l’exemple contient les comptes réalisés.

Contrôle : 1 600/20 000 = 8,00 %. Test : 1 900/20 000 = 9,50 %. ITT = +1,50 point ; lift secondaire = 18,75 % ; 300 conversions incrémentales dans le bras test.

L’approximation normale donne SE=0,2826 point et IC95 [0,946 ; 2,054] points. Avec de petits comptes ou des taux extrêmes, préférer un intervalle de score ; si l’assignation est clusterisée, estimer la variance au niveau de randomisation.

Le bras test compte 17 400 expositions pour 20 000 assignations. L’ITT conserve les 20 000 unités et estime l’effet de la politique d’assignation. Diviser par les seuls exposés change l’estimand et réintroduit une sélection post-randomisation.

Le jeu de référence ne contient aucun outcome manquant. En production, rapporter les manquants par bras, expliquer leur mécanisme et réaliser une sensibilité bornée. Une suppression différentielle après assignation peut rompre le bénéfice de la randomisation.

Contrôler le ratio d’échantillon attendu, les doublons d’unité, l’équilibre des variables prétraitement, la stabilité du tracking, la contamination, l’interférence et la conformité de la fenêtre. Ces diagnostics qualifient le protocole ; ils ne remplacent pas l’estimation.

Erreurs typiques : analyser les exposés comme s’ils étaient randomisés, exclure après coup les non-convertis, appeler lift une différence absolue, multiplier l’ITT par la mauvaise population, arrêter au premier résultat favorable ou ignorer la multiplicité.

Sous le protocole déclaré, la plage est compatible avec un effet positif de la politique sur cette population et cette fenêtre. Elle ne décrit pas l’effet chez les seuls exposés, la persistance au-delà de 14 jours ni la transférabilité à une autre campagne.

Comparer la borne basse de l’ITT à un seuil de valeur fixé avant l’analyse, puis décider d’un déploiement, d’un pilote supplémentaire ou d’un arrêt en intégrant coût, risque et capacité. La décision reste humaine et conditionnelle.

Ne pas attribuer l’effet aux seuls utilisateurs exposés, à un canal précis dans une campagne multicanale, à la création de demande plutôt qu’à un déplacement temporel, ni à une performance future hors de la population et de la fenêtre observées.