
44
|
第
2
章
网出现之前的那个时代,柯达需要花费多少精力了解用户并进行决策啊。正因为如此,
当今比以往任何时间都热衷于数据驱动设计。
A/B
测试或线上实验是一种数据驱动设
计的有效而全面的方法。
A/B
测试:线上实验
A/B
测试本质上是一种线上实验。它们的概念几乎相同,都是设置变量,并与对照组
衡量比对。但久而久之,
A/B
测试形成了自己的一套与现有业务用语更加一致的表述。
接着,我们将把业务上下文中常见的概念与
A/B
测试专业术语进行对应,并额外介绍
其他实用且重要的概念,比如统计显著性。
线上用户抽样
在冲向营地的比喻中,我们探讨了应如何分配小屋中的营员以达到测试的目标。这个
部分对
A/B
测试来说极其关键。样本量很大时,即使实验分配有细小差异,也会干扰
对照条件,导致混乱不可靠的实验结果。这是为何进行随机分配的原因。随机分配使
得各组情况基本保持一致。
到目前为止,我们一直在谈论不同的条件。比如,实验组与对照组。
A/B
测试中,这
些条件通常被称作
测试单元
。这与我们曾经介绍过的概念相同:测试单元指包含随机
分配样本的各个体验组,基于不同的方法产生变化。
本节中,我们将回顾一些重要的注意事项以思考何时从用户总体中抽取选定的用户。
希望本节中的术语与概念有助于你同团队进行更多有意义的对话,讨论如何选择合适
的实验用户以收集到有意义的数据信息,以及哪种设计能够最好地服务于目标受众。
用户队列与细分
当希望借助数据更好地了解用户时,面临的第一个问题是选择哪些用户进行数据收集。
研究合适的用户群体非常重要,并将影响研究结果。用户群体多种多样。将用户通过 ...