Hvad er randomisering?

Randomisering er en proces, hvor der anvendes tilfældige metoder til at tildele forsøgspersoner til behandlingsgrupper. I en A/B-test ville det normalt være brugere (potentielle kunder) eller kunder. Hvis målgruppestørrelserne er lige store, har hver deltager i et forsøg ved hjælp af randomisering lige stor sandsynlighed for at blive tildelt en af grupperne.

I denne forstand er randomisering ikke tilfældig, men blot en proces, hvis resultater ikke følger et deterministisk mønster, men en udvikling, der beskrives af en sandsynlighedsfordeling. Således henviser en tilfældig stikprøve af brugere blandt de besøgende på dit websted til en stikprøve, hvor hvert enkelt individ har en kendt sandsynlighed for at blive udtaget som stikprøve. Brugerne blev ikke vilkårligt udvalgt.

Randomisering er en vigtig del af ethvert randomiseret kontrolleret eksperiment, herunder et online kontrolleret eksperiment, på grund af dens rolle i forbindelse med at sikre gyldigheden af enhver statistisk beregning (f.eks. signifikanstest, der udføres efterfølgende, fordi mange af de statistiske metoder forudsætter, at der er foretaget randomisering, og at eventuelle fejlfremkaldende faktorer er tilfældigt spredt. Dens betydning blev først understreget af Ronald Fisher, der introducerede den som en metode til at kontrollere de ukendte årsager til variationen af den pågældende parameter. Ved hjælp af randomisering kan vi fremstille en statistisk model, hvor udfaldsvariablen kan modelleres som en tilfældig variabel. Dette skyldes, at eventuelle ukendte forvirrende variabler har samme sandsynlighed for at påvirke enhver testgruppe (under forudsætning af lige fordeling).

Randomisering sikrer også, at fordelingen af brugere på testgrupper er en uafhængig variabel med hensyn til testinterventionen: ingen bruger eller gruppe af brugere foretrækkes at blive tildelt en bestemt gruppe på grund af ønskværdige eller uønskede egenskaber (f.eks.f.eks. placering, browser, forbindelseshastighed).

Bemærk, at selv om randomisering tenderer mod en ligelig fordeling mellem faktorer med større stikprøvestørrelser, garanterer den ikke en ligelig fordeling af alle relevante faktorer (f.eks. trafikkilde, placering, enhed, browser). En lige fordeling er ikke en nødvendig forudsætning for en gyldig statistisk analyse, da chancen for, at en ulige fordeling forekommer, tages i betragtning i den resulterende statistik.

Randomiseret blokering kan anvendes, når en eller flere faktorer vides at være kausalt forbundet med den pågældende parameter, men på grund af den kontinuerlige karakter af dataindsamling i A/B-test er det ofte svært at afbalancere faktorerne i praksis. Desuden fører blokering og ren randomisering også til den samme fordeling på de vigtigste faktorer i betragtning af stikprøvestørrelsen i de fleste online A/B-tests. Hvis man anvender et blokdesign, bør der anvendes passende metoder, da en naiv p-værdiberegning, der ikke tager hensyn til blokering, sandsynligvis vil undervurdere betydeligt, hvor uventet resultatet er.