A/B测试——测试工具

植夫发布

索>用研>需求 > 概念>评估>测量

A/B 测试,也叫对照实验和随机实验。简单说,就是为同一个目标设计 A 方案和 B 方案,让一部分用户使用 A 方案,一部分用户使用 B 方案。记录用户的使用情况,根据用户反馈,比较得出哪个方案更佳。

A/B 测试的概念来源

A/B 测试的概念来源于生物医学的双盲测试,双盲测试中病人被随机分成两组,在不知情的情况下分别给予安慰剂和测试用药,经过一段时间的实验后再来比较这两组病人的表现是否具有显著的差异,从而决定测试用药是否真的有效。

2000年Google的工程师第一次将A/B测试用于测试搜索结果页展示多少搜索结果更合适,虽然那次的AB测试因为搜索结果加载速度的问题失败了,但是这次的A/B测试可以认为是Google的第一次AB测试。

从那以后,A/B测试被广泛应用于互联网公司的优化迭代, 每年数万个AB实验被Google、Amazon、eBay、阿里等主流互联网公司应用于线上进行UI内容优化、算法优化、收益优化等方方面面。


从图中可以看出,AB测试是对比两个或多个变体在同一地方的好坏,并且需要保证样本的同时和同质。

同时性:两个变体是同时投入使用的,而不是今天使用A变体,明天使用B变体,这样会有其他因素影响。比如,对于电商网站来说今天没有活动,而明天是双十一,在这个条件下我们不能判断变体B比变体A好。

同质性:两个变体对应的使用群体需要保证尽量一致。比如,想想一个极端场景:变体A里全是女性,变体B中全是男性,我们根本无法判断出来究竟是方案影响了最终效果还是性别。

目的 通过定量手段对比并获取最优版本时长。

时长 消耗开发资源成本高 类型 常规方法

属性 定量、行为 方式 灰度逐渐放量进行测试类型

角色 产品、交互 市场 现有市场、垂直市场 权限市场

Flow.

  1. 将A/B两个版本的设计进行开发实现,确定实验组与对比组
  2. 进行关键数据埋点
  3. 进行灰度发布,如实验组与对比组分别采用1%的用户样本
  4. 收集数据,收集半个月内两组样本的关键数据
  5. 对比数据,对比两组数据的关键指标
  6. 得出结论,针对数据样本更优质的方案继续优化,直到产品全量上线

参考资料:
《A/B测试知识点总结》阿肆Stella,简书
分类: 评估测试

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据