無作為化とは

無作為化とは、偶然の方法を用いて被験者を治療群に割り当てることです。 A/Bテストでは、通常、ユーザー（潜在的な顧客）または顧客となります。 この意味で無作為化は行き当たりばったりではなく、結果が決定論的なパターンに従うのではなく、確率分布によって記述される展開に従う単純なプロセスである。 したがって、ウェブサイトの訪問者からユーザーのランダムなサンプルは、すべての個体がサンプリングされる既知の確率を持っているサンプルを指します。 統計手法の多くが無作為化が行われ、誤差を誘発する要因がランダムに分散されていることを前提としているため、その後に行われる統計計算（例えば、有意差検定）の妥当性を保証する役割を果たすため、無作為化はオンライン対照実験を含むあらゆる無作為化対照実験において重要な部分となるのです。 その重要性はフィッシャーによって初めて強調され、目的のパラメータの未知の変動原因をコントロールする方法として紹介されました。 無作為化を用いると、結果変数が確率変数としてモデル化された統計モデルを作成することができます。 これは、未知の交絡変数がどのテストグループにも影響する確率が等しいという事実によるものです（均等配分を仮定しています）。無作為化は、サンプル サイズが大きくなると要因間の分布が均等になる傾向がありますが、すべての関連要因 (トラフィック ソース、場所、デバイス、ブラウザなど) の均等な分布を保証するものではないことに留意してください。） 不均等な分布が起こる可能性は結果の統計に考慮されるため、均等な分布は有効な統計解析の必要条件ではありません。

1つ以上の要因が関心のあるパラメーターと因果関係があることが分かっている場合、無作為化ブロックを採用できますが、A/Bテストでのデータ収集の連続性を考えると、実際に要因をバランスさせるのは難しい場合が多いです。 また、ブロッキングと純粋なランダム化も、ほとんどのオンラインA/Bテストのサンプルサイズを考えると、主要な要因について同じ分布になる。 ブロッキングを考慮しない素朴なp値計算では、結果がいかに予想外であったかを著しく過小評価する可能性があるため、ブロックデザインを使用する場合は、適切な方法を使用する必要があります

。