AB测试 总结归纳

 目录

一、常见的业务问题：

二、AB测试步骤：

三、影响AB测试结果准确性的因素

四、AB测试效果分析 

 1.实验有效性分析

 2.实验结果的分析

---

A/B测试是促进业务持续增长的最实用，最有效的方式

 一、常见的业务问题：

• 产品迭代：改变用户的交互界面来提升用户体验，优化新用户的注册流程来提高转化率，确定产品优惠券的最有价值，增加产品功能来提升用户留存
• 算法优化：通过提高推荐系统算法的准确度来提高用户粘性，通过提高搜索排名算法的准确度来提升结果的点击率，通过提高广告显示算法的精确度来提升广告的点击率
• 市场营销：确定最优的营销内容，确定最优的营销时间，确定最精确的受众群体，衡量市场营销的效果

二、AB测试步骤：

  根据试验结果确定发布新版本、调整分流比例继续测试或者在试验效果未达成的情况下继续优化迭代方案重新开发上线试验。

三、影响AB测试结果准确性的因素

1.样本数量：流量样本确定

2.样本质量：分流出的样本是否有效

 3.测试的时间长短

 4.多个实验并行的相互影响

（详情看文章底下推荐其它博主文章）

四、AB测试效果分析 

关于AB实验效果的分析通常分为两个步骤：实验有效性的判断、实验结果的比较。

 1.实验有效性分析

①判断实验的分流是否已经到达所需要的最小样本量，从而能够以较大的概率拒绝两类统计错误的发生。最小样本量的判断可以采用假设实验目标指标符合正态分布下，两类错误发生概率的分位数的方式进行估算；

②判断样本有效性。采用AA测试，如果AA实验的结果不存在显著差异，那么可以认为实验结果是有效的，进而可以对新老版本的实验结果进行进一步的判断；

③判断测试时间是否满足了样本需求，并考虑了适应期和行为周期；

④判断是否收到并行实验的影响。

 2.实验结果的分析

在确认实验有效后就可以对实验的结果进行判断了，通常通过比较新实验版本和老版本是否存在显著差异（前述的P值判断），以及计算实验结果指标的置信区间（通常选用指标的95%置信区间），从而判断新版本是否相对老版本存在显著提升或下降。
 

这里是其他博主详细整理我觉得很不错推给大家。 

 (24条消息) 【数据分析】A/B测试_浮汐的博客-CSDN博客_aa测试

 (24条消息) 浅谈A/B测试 ，看这一篇就足够了_佞臣888的博客-CSDN博客_a/b测试

 (24条消息) A/B测试_sd116460的博客-CSDN博客