Ce este randomizarea?

Randomizarea este procesul de utilizare a metodelor de șansă pentru a repartiza subiecții pe grupuri de tratament. Într-un test A/B, acestea ar fi, de obicei, utilizatorii (clienți potențiali) sau clienții. Dacă dimensiunile grupurilor țintă sunt egale, atunci, prin randomizare, fiecare participant la un experiment are o probabilitate egală de a fi repartizat în oricare dintre grupuri.

În acest sens, randomizarea nu este întâmplătoare, ci pur și simplu un proces ale cărui rezultate nu urmează un model determinist, ci o evoluție descrisă de o distribuție de probabilitate. Astfel, un eșantion aleatoriu de utilizatori dintre vizitatorii site-ului dvs. web se referă la un eșantion în care fiecare individ are o probabilitate cunoscută de a fi eșantionat. Utilizatorii nu au fost selectați în mod arbitrar.

Randomizarea este o parte esențială a oricărui experiment controlat randomizat, inclusiv a unui experiment controlat online, datorită rolului său în asigurarea validității oricărui calcul statistic (de exemplu, testul de semnificație efectuat ulterior, datorită faptului că multe dintre metodele statistice presupun că randomizarea a fost efectuată și că orice factori care induc erori sunt dispersați aleatoriu. Importanța sa a fost subliniată pentru prima dată de Ronald Fisher, care a introdus-o ca metodă de control al cauzelor necunoscute de variație a parametrului de interes. Folosind randomizarea putem produce un model statistic în care variabila de rezultat poate fi modelată ca o variabilă aleatoare. Acest lucru se datorează faptului că orice variabile de confuzie necunoscute au o probabilitate egală de a afecta orice grup de testare (presupunând o alocare egală).

Randomizarea asigură, de asemenea, că distribuția utilizatorilor între grupurile de testare este o variabilă independentă în ceea ce privește intervenția de testare: niciun utilizator sau grup de utilizatori nu este preferat să fie alocat unui anumit grup din cauza unor caracteristici dezirabile sau nedorite (de ex.de exemplu, locația, browserul, viteza de conectare).

Rețineți că, deși randomizarea tinde spre o distribuție egală între factori cu dimensiuni mai mari ale eșantionului, ea nu garantează o distribuție egală a tuturor factorilor relevanți (de exemplu, sursa de trafic, locația, dispozitivul, browserul). O distribuție egală nu este o condiție prealabilă necesară pentru o analiză statistică validă, deoarece șansa apariției unei distribuții inegale este luată în considerare în statisticile rezultate.

Blocarea randomizată poate fi utilizată atunci când se știe că unul sau mai mulți factori sunt legați cauzal de parametrul de interes, cu toate acestea, având în vedere natura continuă a colectării datelor în cadrul testelor A/B, este adesea dificil să se echilibreze factorii în practică. De asemenea, blocarea și randomizarea pură duc, de asemenea, la aceeași distribuție a factorilor majori, având în vedere dimensiunea eșantionului din majoritatea testelor A/B online. Dacă se folosește un design de bloc, atunci ar trebui să se utilizeze metode adecvate, deoarece un calcul naiv al valorii p care nu ia în considerare blocarea va subaprecia probabil în mod semnificativ cât de neașteptat este rezultatul.

.