¿Qué es la aleatorización?
La aleatorización es el proceso de utilizar métodos de azar para asignar sujetos a los grupos de tratamiento. En una prueba A/B, normalmente serían usuarios (clientes potenciales) o clientes. Si los tamaños de los grupos objetivo son iguales, entonces, a través de la aleatorización, cada participante en un experimento tiene la misma probabilidad de ser asignado a cualquiera de los grupos.
En este sentido, la aleatorización no es azarosa, sino simplemente un proceso cuyos resultados no siguen un patrón determinista, sino una evolución descrita por una distribución de probabilidad. Así, una muestra aleatoria de usuarios de los visitantes de su sitio web se refiere a una muestra en la que cada individuo tiene una probabilidad conocida de ser muestreado. Los usuarios no fueron seleccionados arbitrariamente.
La aleatorización es una parte clave de cualquier experimento controlado aleatorio, incluyendo un experimento controlado en línea, debido a su papel para asegurar la validez de cualquier cálculo estadístico (por ejemplo, la prueba de significación realizada posteriormente, debido al hecho de que muchos de los métodos estadísticos asumen que la aleatorización se ha llevado a cabo y cualquier factor inductor de error se dispersa al azar. Su importancia fue destacada por primera vez por Ronald Fisher, que la introdujo como método para controlar las causas desconocidas de variación del parámetro de interés. Utilizando la aleatorización podemos producir un modelo estadístico en el que la variable de resultado puede modelarse como una variable aleatoria. Esto se debe al hecho de que cualquier variable de confusión desconocida tiene la misma probabilidad de afectar a cualquier grupo de prueba (suponiendo una asignación equitativa).
La aleatorización también garantiza que la distribución de los usuarios entre los grupos de prueba es una variable independiente con respecto a la intervención de la prueba: no se prefiere asignar a ningún usuario o grupo de usuarios a ningún grupo en particular debido a características deseables o indeseables (p. ej.p. ej., ubicación, navegador, velocidad de conexión).
Tenga en cuenta que, aunque la aleatorización tiende a la distribución equitativa entre factores con tamaños de muestra mayores, no garantiza la distribución equitativa de todos los factores relevantes (p. ej., fuente de tráfico, ubicación, dispositivo, navegador). Una distribución equitativa no es un prerrequisito necesario para un análisis estadístico válido, ya que la posibilidad de que se produzca una distribución desigual se tiene en cuenta en las estadísticas resultantes.
El bloqueo aleatorio puede emplearse cuando se sabe que uno o más factores están relacionados causalmente con el parámetro de interés, sin embargo, dada la naturaleza continua de la recogida de datos en las pruebas A/B, a menudo es difícil equilibrar los factores en la práctica. Además, el bloqueo y la aleatorización pura también conducen a la misma distribución en los factores principales, dado el tamaño de la muestra de la mayoría de las pruebas A/B en línea. Si se utiliza un diseño en bloque, deben emplearse métodos adecuados, ya que un cálculo ingenuo del valor p que no tenga en cuenta el bloqueo probablemente infravalorará de forma significativa lo inesperado del resultado.