Wat is Randomization?
Randomization is het proces waarbij toevalsmethoden worden gebruikt om proefpersonen aan behandelgroepen toe te wijzen. In een A/B-test zouden dat gewoonlijk gebruikers (potentiële klanten) of klanten zijn. Als de doelgroepen even groot zijn, heeft elke deelnemer aan een experiment door randomisatie een gelijke kans om aan een van de groepen te worden toegewezen.
In deze zin is randomisatie niet lukraak, maar gewoon een proces waarvan de uitkomsten geen deterministisch patroon volgen, maar een ontwikkeling die wordt beschreven door een waarschijnlijkheidsverdeling. Een aselecte steekproef van gebruikers uit uw websitebezoekers verwijst dus naar een steekproef waarbij elk individu een bekende kans heeft om te worden bemonsterd. De gebruikers werden niet willekeurig geselecteerd.
Randomisatie is een essentieel onderdeel van elk gerandomiseerd gecontroleerd experiment, met inbegrip van een online gecontroleerd experiment, vanwege de rol die het speelt bij het verzekeren van de geldigheid van elke statistische berekening (b.v. een achteraf uitgevoerde significantietest) vanwege het feit dat veel van de statistische methoden veronderstellen dat de randomisatie is uitgevoerd en dat alle foutveroorzakende factoren willekeurig zijn verspreid. Het belang ervan werd voor het eerst beklemtoond door Ronald Fisher die het introduceerde als een methode om de onbekende oorzaken van variatie van de parameter van belang te controleren. Door gebruik te maken van randomisering kunnen wij een statistisch model opstellen waarin de uitkomstvariabele als een willekeurige variabele kan worden gemodelleerd. Dit is het gevolg van het feit dat onbekende beïnvloedende variabelen een gelijke kans hebben om elke testgroep te beïnvloeden (uitgaande van een gelijke toewijzing).
Randomisatie zorgt er ook voor dat de verdeling van de gebruikers over de testgroepen een onafhankelijke variabele is met betrekking tot de testinterventie: geen enkele gebruiker of groep van gebruikers wordt bij voorkeur toegewezen aan een bepaalde groep op grond van gewenste of ongewenste kenmerken (bijv.
Merk op dat, ook al neigt randomisatie naar een gelijke verdeling over factoren bij grotere steekproefgroottes, het geen gelijke verdeling van alle relevante factoren garandeert (b.v. verkeersbron, locatie, apparaat, browser). Een gelijke verdeling is geen noodzakelijke voorwaarde voor een geldige statistische analyse, aangezien de kans op een ongelijke verdeling in de resulterende statistieken wordt verdisconteerd.
Gerandomiseerde blokkering kan worden toegepast wanneer van een of meer factoren bekend is dat ze causaal verband houden met de parameter van belang, maar gezien de continue aard van de gegevensverzameling bij A/B-tests is het in de praktijk vaak moeilijk om de factoren in evenwicht te brengen. Bovendien leiden blocking en pure randomisatie ook tot dezelfde verdeling over de belangrijkste factoren, gezien de steekproefgrootte van de meeste online A/B-tests. Als men een blokontwerp gebruikt, moeten passende methoden worden gebruikt, aangezien een naïeve p-waardeberekening die geen rekening houdt met blokkering, waarschijnlijk aanzienlijk zal onderschatten hoe onverwacht het resultaat is.