Mitä on satunnaistaminen?
Satunnaistaminen on prosessi, jossa käytetään sattumanvaraisia menetelmiä koehenkilöiden jakamiseksi hoitoryhmiin. A/B-testissä se olisi yleensä käyttäjät (potentiaaliset asiakkaat) tai asiakkaat. Jos kohderyhmien koot ovat yhtä suuret, niin satunnaistamisen avulla jokaisella kokeen osallistujalla on yhtä suuri todennäköisyys tulla määritetyksi mihin tahansa ryhmään.
Tässä mielessä satunnaistaminen ei ole sattumanvaraista, vaan yksinkertaisesti prosessi, jonka tulokset eivät noudata determinististä kaavaa, vaan todennäköisyysjakauman kuvaamaa kehitystä. Siten satunnaisotoksella verkkosivuston kävijöistä tarkoitetaan otosta, jossa jokaisella yksilöllä on tunnettu todennäköisyys joutua otokseen. Käyttäjiä ei valittu mielivaltaisesti.
Satunnaistaminen on keskeinen osa mitä tahansa satunnaistettua kontrolloitua koetta, mukaan lukien kontrolloidut verkkokokeet, koska sillä on tärkeä rooli minkä tahansa tilastollisen laskennan pätevyyden varmistamisessa (esim. merkitsevyystesti, joka suoritetaan jälkikäteen), koska monissa tilastollisissa menetelmissä oletetaan, että satunnaistaminen on suoritettu ja että kaikki virhettä aiheuttavat tekijät ovat sattumanvaraisesti hajautettuja. Sen tärkeyttä korosti ensimmäisenä Ronald Fisher, joka esitteli sen menetelmänä, jolla voidaan valvoa kiinnostavan parametrin vaihtelun tuntemattomia syitä. Satunnaistamisen avulla voidaan tuottaa tilastollinen malli, jossa tulosmuuttuja voidaan mallintaa satunnaismuuttujana. Tämä johtuu siitä, että kaikilla tuntemattomilla sekoittavilla muuttujilla on yhtäläinen todennäköisyys vaikuttaa mihin tahansa testiryhmään (olettaen, että allokaatio on yhtäläinen).
Satunnaistaminen varmistaa myös sen, että käyttäjien jakautuminen testiryhmiin on riippumaton muuttuja testintervention suhteen: yksikään käyttäjä tai käyttäjäryhmä ei mieluummin sijoitu mihinkään tiettyyn ryhmään toivottavien tai ei-toivottavien ominaisuuksiensa vuoksi (esim.esim. sijainti, selain, yhteysnopeus).
Huomaa, että vaikka satunnaistaminen pyrkii suurempien otoskokojen myötä tasaiseen jakautumiseen tekijöiden välillä, se ei takaa kaikkien merkityksellisten tekijöiden (esim. liikennelähde, sijainti, laite, selain) tasaista jakautumista. Tasainen jakauma ei ole välttämätön edellytys pätevälle tilastolliselle analyysille, sillä epätasaisen jakauman toteutumisen mahdollisuus otetaan huomioon tuloksena saatavissa tilastoissa.
Satunnaistettua estoa voidaan käyttää, kun yhden tai useamman tekijän tiedetään olevan kausaalisessa yhteydessä kiinnostavaan parametriin, mutta koska A/B-testauksessa tiedonkeruu on jatkuvaa, tekijöiden tasapainottaminen on käytännössä usein vaikeaa. Lisäksi estäminen ja puhdas satunnaistaminen johtavat myös samaan jakaumaan tärkeimpien tekijöiden osalta, kun otetaan huomioon useimpien online-A/B-testien otoskoko. Jos käytetään blokkaussuunnitelmaa, olisi käytettävä asianmukaisia menetelmiä, sillä naiivi p-arvolaskenta, jossa ei oteta huomioon blokkausta, todennäköisesti aliarvioi huomattavasti sitä, kuinka odottamaton tulos on.