什么是 A/B 测试？

什么是 A/B 测试？

目录：

案例：

美国总统奥巴马通过AB Test实验获得了更多选票。

A/B Test背景

A/B Test定义

定义：A/B Test是用于测试特定用户群，对不同版本的产品特征反应的线上实验方法。本质：基于抽样的统计学假设检验(显著性检验) 。关联：AB测试是灰度发布法的子集。基本原则：1.尽快得到实验结论，尽快决策；2.收益最大化，用户体验影响最小

A/B Test应用

应用：产品优化、运营提效、算法/策略调优

A/B Test与增长

A/B Test特性

实验流程

实验设计(AB Test需求文档)

1.确定实验目的 拉新、促活、留存、收入、传播 2.实验对象: 用户:希望提升运营效率的场景 事件:用户很难发现的策略变更的场景 3.确定核心指标 衡量实验组和对照组优劣的指标，如:注册率，转化率，点击率等 4.影响因素: 梳理出因果关系，找出影响核心指标的所有变量 如：标题是否高亮、文字是否精简、价格是否对比……

案例分析：墨迹天气的分享按钮优化

实验的执行—分流&分组

分流原则： 1. 同时性、一致性、唯一性、均匀性 2.符合AB Test的基本原则 尽快得到实验结论，尽快决策； 收益最大化，用户体验影响最小。分组方法： 1.随机分组(增长、体验类实验) 2.时间片轮转(效率类实验)

实验的执行—分流效率&防冲突

分流效率

防冲突方法1.同层实验：所有实验均可用，用于无法确定是否有冲突的实验2.分层实验：已确定实验间互不干扰

实验的执行—指标计算

指标类型: 基础指标 vs 复合指标统计对象 基于用户：用户id 基于事件：订单id, 策略id聚合方式 distinct count :累计去重，如：付款用户数 sum:累加，如:完成订单数，点击量指标SQL

效果评估—统计学原理

假设检验的两类错误 第 I 类错误(弃真错误)：原假设为真时，拒绝原假设；第 I 类错误的概率记为 α 第 II 类错误(取伪错误)：原假设为假时，未拒绝原假设。第 II 类错误的概率记为 β显著性 定义：在原假设为真的条件下，发生样本数据拒绝原假设的概率。（实际含义：随机误差发生的概率） 含义：样本数据不是偶然得到的，实验结果不是抽样的随机波动造成的，而是由内在的影响因素导致。

效果评估—假设验证流程

观察实际提升（点估计） 对比实验组vs对照组的指标在实验周期内的指标累积提升值

撰写实验报告，包括 实验背景、实验效果、实验结论、实验是否具有普适性、是否可以推广、后续优化的方向 ，通过这几个方面对实验结论进行分析，确立方法的可行性。

误区一、 过度依赖AB测试

解决办法：对一些反馈周期很长的产品不使用AB测试，而是通过认知积累解决问题

误区二、 以偏概全

解决办法：科学的进行流量分配，保证每个试验版本的用户特征类似

误区三、 试验结果认知过浅

解决办法：在分析试验数据时，从多个维度细分考量实验数据

AB Test局限性