ABtest-3

12.选择AB实验的样本的时候，应该注意什么（滴滴）

参考答案
选择AB实验的样本的时候，我们最要考虑的是样本量的选择，影响样本量选择通常有4个因素：显著性水平（α）、标准差（1 – β）、统计功效（μA-μB）、均值差异（σ）
● 显著性水平：显著性水平越低，对AB实验结果的要求也就越高，越需要更大的样本量来确保精度
● 统计功效：统计功效意味着避免犯二类错误的概率，统计功效越大，需要的样本量也越大
● 均值差异：如果真实值和测试值的均值差别巨大，也不太需要多少样本，就能达到统计显著
● 标准差：标准差越小，代表两组差异的趋势越稳定。越容易观测到显著的统计结果
将这四个值带入样本计算量公式就能得到需要的样本量，通常有网站专门计算AB实验的样本量，所以只要搞清楚上面四个值，就能计算出你需要的样本量
答案解析
这道题主要是对AB实验样本量选择的考量，因为在选择样本的时候最关键也是最重要的一步就是对样本量的选择，对于有经验的人来说可以按照经验判断样本量级，但是对于更多人来说还是需要有更多辅助的判断。通常来说样本量太少，实验结果不大可信，但是样本量太多，也不是更好，一个最直接的原因就是样本量越大，影响的用户越多，就有可能影响到用户对产品的体验。

13.如何设计ABtest确定此功能上线收益（正负收益平衡点）（快手）

参考答案

1. A方案和B方案，哪个方案的结果更好？
   首先的话，需要做需要运用假设检验，分为两种不同的检验方式，对于留存率、渗透率等漏斗类，采用卡方检验。对于人均时长类等均值类指标，采用t检验。
   通过假设检验后，如果结论置信，我们就能够得到A方案和B方案哪个指标更好（有显著性差异）， 对于不置信的结论，尽管A方案和B方案 的指标可能略有差异，但可能是数据正常波动产生。
2. 哪个 ROI 更高？ 一般有活动相比无活动，留存、人均时