【概率统计】A/B-test原理

原文来自：https://zhuanlan.zhihu.com/p/75762862
作者：求知鸟

本文仅用于学习，不对外公布。

AB检验是为同一个目标制定两个方案（A\B），在同一时间维度，分别让相似的两群体随机选取一种方案，然后收集两群体的用户业务数据，最后根据显著性检验分析评估出最好的方案。

AB检验的步骤
step1：确定指标（例如点击率CTR）；
step2：确定旧方案A和新方案B，设定假设问题-备择假设为B>A（单边检验）；
step3：收集数据；
step4：确定显著性水平alpha；
step5：选择合适的检验方法进行检验；
step6：得出结论。

问题一：如何选择样本量？至少应该抽取多少人做AB检验？
有一个公式可以计算每组至少需要多少样本量：

问题二：如何选择检验方法？
比较两个方案的优劣，实际上就是比较两总体的均值，那么就是两总体均值的检验。
根据问题背景不同，采用的检验方式也应该不同。

1. 如果我们有理由认为两组数据都服从正态分布，那么就是两正态总体的均值检验，可以采用下列方法：

方差已知的Z检验：
条件：两总体的方差已知；
假设：
检验统计量：
拒绝域：

方差未知的t检验：
条件：两总体的方差未知，但有理由认为相等。
假设：
检验统计量：
拒绝域：

大样本Z检验：
条件：两总体样本量充分大；方差未知。
假设：
检验统计量：
拒绝域：

近似t检验：
条件：两总体样本量不太大；方差未知。
假设：
检验统计量：
拒绝域：

2. 当我们有理由认为得到的数据是成对的数据时，采用两总体检验有可能得出错误的结论，此时应该采用下列方法：

成对t检验：
条件：成对数据。