A/B test: quando e quanto ci si può fidare
Se vogliamo confrontare i risultati di due differenti azioni di Web Marketing, dobbiamo considerare un intervallo di tempo sufficientemente ampio, in modo che i dati raccolti siano rappresentativi.
Il problema è che tanto più grande può essere la differenza da misurare, tanto più deve essere ampio il campione da considerare. In realtà, più che ampio deve essere rappresentativo.
In altri termini, se voglio considerare se un banner “A” pubblicato su un generico sito mi rende di più, in termini di vendite, di un banner “B” pubblicato sullo stesso sito, ma con una creatività differente, quante vendite provenienti da ciascun banner devo attendere prima di poter dire con un buon margine di errore che il banner “A” funziona meglio del banner “B” o viceversa?
La questione non è semplicissima e si può risolvere con il test del χ2 (chi quadro). Tralasciando la teoria, forniamo un metodo empirico di calcolo che chiunque può fare con carta e penna, come si diceva una volta, o con un più pratico foglio Excel.
Supponiamo di avere la situazione seguente ricavata dopo due giornate di esposizione.La domanda a cui vogliamo rispondere è: “Posso considerare che il Banner Rosso è più efficace del Banner Giallo?”.
Per prima cosa, dobbiamo aggiungere una colonna in cui inserire il numero di volte in cui il banner è stato visto ma non ha generato una vendita (Impression – Vendite):
Per comodità, abbiamo dato dei nomi alle celle e chiamiamo n il numero di impression totali (n=1.000+1.120=2.120).
La formula da applicare è la seguente:
Nel caso a e c siano particolarmente bassi (ma sempre maggiori di 5) la formula da applicare deve subire quella che sia chiama la correzione di Yates e diviene:
Se si volesse riportare per comodità in un foglio di calcolo quanto visto abbiamo:
Nel primo caso:
E la formula da scrivere in B4 per calcolare χ2:
=(((C2*D3)-(D2*C3))^2)*(B2+B3)/((C2+D2)*(C2+C3)*(D2+D3)*(C3+D3))
Nel secondo caso:
e la relativa formula da riportare in B4 per il calcolo di χ2modificato è:
=((COMP.MODULO((C2*D3)-(D2*C3))-(B2+B3)/2))^2*(B2+B3)/((C2+D2)*(C2+C3)*(D2+D3)*(C3+D3))
Il nostro grado di sicurezza dipende dal valore di χ2 .
Nel nostro caso essendo χ2 = 2,748 (con la formula base) e 2,313 (con la variante di Yates) diciamo che la certezza al 90% la raggiungiamo un po’ a stento. Possiamo provare a lasciare i banner per altri due giorni e avere dunque la seguente situazione.
Eseguendo i calcoli si ha: χ2= 7,976 (formula base) e χ2 = 7,452 (formula di Yates).
Aspettare altri due giorni ci ha permesso di avere la certezza al 99% che il test è significativo.
Il metodo visto ci consente, ogni volta che abbiamo un confronto di performance simile, di capire se ci si può o meno fidare dei risultati o dobbiamo attendere ancora.
Per chi vuole è possibile scaricare il file Excel con le formule già pronte: ChiQuadro-Ghislandi-WMG.xlsx
Tratto da: R. Ghislandi – “Il manuale dell’e-commerce” – Apogeo – 2012
