SCHEDA METODOMSC-P-004Fondamenti dell’evidenzaDossier scientifico verificato

Significatività o dimensione dell’effetto: quale risultato interpretare?

Il p-value misura la compatibilità dei dati con un modello nullo. La dimensione dell’effetto descrive l’ampiezza osservata e va accompagnata da un intervallo e da una soglia di rilevanza pratica.

Risposta diretta

Valutare insieme rilevazione, ampiezza e precisione.

American Statistical Association, 2016 Lakens, 2013

La regola decisionale

Interpretare sempre insieme quattro oggetti: stima dell’effetto, intervallo, p-value del test dichiarato e soglia di importanza pratica fissata prima del risultato. Un p-value piccolo non misura ampiezza o utilità; uno grande non dimostra assenza.

American Statistical Association (2016)

Tre livelli di lettura

1
Decisore: chiedere se l’intervallo supera la soglia aziendale, non solo se p è inferiore a 0,05.
2
Professionista: riportare differenza assoluta, lift relativo, intervallo, p-value, numerosità e regola di molteplicità.
3
Analista: definire estimando, processo di campionamento, δ, livello dell’intervallo e sensibilità.

Situazione marketing concreta

Un team confronta due tassi di conversione e deve decidere se la differenza giustifica il rilascio. Il costo richiede almeno +1 punto. La vera domanda è: quali ampiezze restano compatibili con i dati e superano la soglia?

Domanda scientifica esatta

Nelle popolazioni, unità e finestre dichiarate, qual è la differenza descrittiva Δ = πB − πA, con quale precisione, e l’intervallo è compatibile con zero, con un effetto utile δ o con [−δ,+δ]?

Perché p < 0,05 non basta

Con n molto grande, una differenza minima può dare un p-value piccolo senza valore economico.
Un risultato non significativo può essere troppo impreciso per distinguere assenza, danno o beneficio utile.
Scegliere δ dopo i dati trasforma la regola aziendale in giustificazione ex post.

American Statistical Association (2016) Lakens, Scheel & Isager (2018)

Intuizione prima delle equazioni

Il p-value risponde a una domanda di compatibilità sotto un modello nullo dichiarato; non dà la probabilità che H0 sia vera.
La dimensione dell’effetto dà l’ampiezza su una scala scelta; l’intervallo mostra i valori compatibili con dati e modello.
La soglia δ traduce costo, margine o rischio in differenza minima utile; non è una costante universale.

Lakens (2013)

Dati necessari

Due gruppi binomiali indipendenti, nA/nB e conversioni yA/yB; nessuna assegnazione causale è rivendicata.
Stessa definizione di conversione, stessa finestra e popolazioni esplicitamente comparabili.
Soglia pratica δ = 1 punto fissata prima dell’analisi; alpha = 5% e famiglia di test dichiarata.

Modello formale e simboli

Effetto

πA,πB; Δ=πB−πAp̂A=yA/nA; p̂B=yB/nB; Δ̂=p̂B−p̂A; lift=Δ̂/p̂A

nA,nB: unità; yA,yB: conversioni; π: parametro di popolazione; p̂: tasso osservato; Δ: estimando; Δ̂: stimatore; δ: differenza minima utile fissata prima dell’analisi.

Incertezza

H0:Δ=0; p̂pool=(yA+yB)/(nA+nB); SE0=√[p̂pool(1−p̂pool)(1/nA+1/nB)]; z=Δ̂/SE0; p=2Φ(−|z|)SE=√[p̂A(1−p̂A)/nA+p̂B(1−p̂B)/nB]; CI95=Δ̂±z0.975SE; CI90=Δ̂±z0.95SETOST: H01:Δ≤−δ; H02:Δ≥+δ; max(p1,p2)<α

α è il rischio di primo tipo dichiarato; Φ è la CDF normale standard; zq è il suo quantile q. L’IC di Wald è usato qui solo con grandi conteggi; preferire un metodo score quando l’approssimazione è fragile.

Fagerland, Lydersen & Laake (2015) Lakens, Scheel & Isager (2018)

Calcolo dichiarato, passo dopo passo

01
Fissare popolazione, finestra, metrica, alpha, molteplicità e δ prima dei risultati.
02
Calcolare tassi, Δ in punti e lift relativo senza cambiare unità durante l’interpretazione.
03
Calcolare p sotto H0:Δ=0 e IC95 di Δ; per equivalenza, testare [−δ,+δ] con due test unilaterali.
04
Classificare rispetto a zero e δ, poi documentare decisione e limiti.

Quattro risultati con significati diversi

Illustrazione sintetica — valori didattici, non osservati

Quattro risultati con significati diversi
Scenario	Conteggi A → B	Tassi A → B	Δ̂	Lift relativo	p	IC95	IC90	TOST p	Decisione
`detectable_negligible`	500000/50000 → 500000/51000	10.000% → 10.200%	0.200 pp	2.000%	0.0009046	[0.0819; 0.3181]	[0.1009; 0.2991]	1.62e-40	`detectable-but-negligible`
`inconclusive`	1000/100 → 1000/120	10.000% → 12.000%	2.000 pp	20.000%	0.152918	[-0.7411; 4.7411]	[-0.3004; 4.3004]	0.762700	`inconclusive`
`practically_convincing`	10000/1000 → 10000/1250	10.000% → 12.500%	2.500 pp	25.000%	2.21e-8	[1.6248; 3.3752]	[1.7655; 3.2345]	0.999609	`practically-convincing-benefit`
`practically_equivalent`	50000/5000 → 50000/5025	10.000% → 10.050%	0.050 pp	0.500%	0.792373	[-0.3223; 0.4223]	[-0.2624; 0.3624]	2.85e-7	`practically-equivalent`

Il primo scenario rifiuta sia Δ=0 sia effetti di almeno 1 punto: è rilevabile e contenuto nella zona di trascurabilità pratica. Questo doppio risultato non deriva mai dalla sola stima puntuale.

CSV Python · MIT R · MIT SPSS · MIT SAS · MIT

Ipotesi di validità

Le unità sono indipendenti entro e tra i gruppi? In caso contrario, la varianza considera la dipendenza reale?
Ogni unità ha un esito binario, una probabilità stabile nel gruppo e una sola osservazione nella finestra?
I conteggi sono sufficienti per l’approssimazione normale? In caso contrario, si usa un metodo binomiale o score adeguato?
δ deriva da una funzione di valore documentata e fissata prima dell’analisi, anziché dal risultato osservato?

Diagnostica e incertezza

Verificare i quattro conteggi binomiali, denominatori e assenza di duplicati.

Riportare IC95 per Δ e IC90 per TOST; ampiezza eccessiva indica informazione insufficiente.

Ripetere per valori δ difendibili e correzione di molteplicità predefinita.

Interpretare il risultato

Rilevabile ma trascurabile: zero è escluso e l’IC90 è interamente in [−δ,+δ]; la sola stima puntuale non basta.
Inconcludente: l’intervallo contiene zero ed effetti utili; raccogliere dati o decidere con rischio esplicito.
Praticamente convincente: IC95 supera δ nella direzione utile sotto le ipotesi dichiarate.
Praticamente equivalente: IC90 in [−δ,+δ] e i due test unilaterali passano.

Conclusioni ammissibili e vietate

Ammissibile

Descrivere ampiezza e precisione per le popolazioni osservate.
Dire quali valori utili o trascurabili restano compatibili con i dati.

Vietato

Trasformare significatività in importanza, probabilità di H0 o causalità.
Interpretare p ≥ 0,05 come prova di assenza senza equivalenza giustificata.

Decisione marketing possibile

01
Distribuire solo se l’intervallo plausibile supera la soglia di valore e i rischi sono accettabili.
02
Fermare per futilità solo con equivalenza pratica sostenuta intorno a un δ difendibile.
03
Altrimenti trattare come inconcludente e scegliere tra più dati, pilota limitato o decisione sotto rischio.

Quando usare e quando non usare

Usare

Confronti tra due proporzioni indipendenti già giustificati dal piano.
Lettura decisionale dopo controllo di disegno, dati e molteplicità.

Non usare

Per scegliere il test: vedere MSC-P-039.
Per potenza e n: MSC-P-012; per causalità: MSC-P-013.

Implementazioni riproducibili

Python 3.13 · riferimento

python msc-p004-reference.py --csv msc-p004-significance-effect-size.csv

R 4.5 · riferimento

Rscript msc-p004-reference.R msc-p004-significance-effect-size.csv

SPSS 31 · secondario

INSERT FILE='msc-p004-reference.sps'.

SAS 9.4 · secondario

%include 'msc-p004-reference.sas';

Python e R sono i riferimenti eseguibili verificati. Le sintassi secondarie SPSS e SAS applicano gli stessi conteggi, formule e regole decisionali; eseguirle nell’ambiente nativo prima dell’uso operativo.

Risultato finale atteso

01
Domanda, popolazione, unità, finestra e disegno.
02
Δ assoluto, lift relativo, p-value, IC95 e δ predefinito.
03
Classe decisionale, ipotesi, molteplicità, limiti e decisione impossibile.

Fonti scientifiche e livello di prova

American Statistical Association (2016)Dichiarazione istituzionale
Il p-value non misura ampiezza o importanza e non deve decidere da solo.
Lakens (2013)Articolo metodologico, CC BY
Le dimensioni dell’effetto comunicano ampiezza e supportano confronto, sintesi e pianificazione.
Lakens, Scheel & Isager (2018)Tutorial metodologico, open access
L’equivalenza richiede limiti basati sul più piccolo effetto d’interesse e due test unilaterali.
Fagerland, Lydersen & Laake (2015)Rassegna metodologica
L’IC di Wald per due proporzioni richiede grandi conteggi ed è meno robusto degli intervalli score.

Connessioni metodologiche

Territorio principaleMetodi statistici decisionali: scegliere, quantificare, validare