数据驱动力：企业数据分析实战

112

｜

第

8

章

8.2

　怎么做

：

A/B

测试中的最佳实践

理解了

A/B

测试的诉求和益处后，下面转变视角，看看

A/B

测试的细节和最佳实践。

8.2.1

　实验之前

本节将介绍实验设计的几个方面，即在实验运行之前应该做些什么。首先，也是最重要的

一方面，就是设计成功指标。然后，讨论

A/A

测

试，它不但对组织的测试很重要，还可

用于生成一些假阳性统计效果，以此让你的上司和同事了解统计显著性和样本足够大的重

要性。接着，我会介绍一个详细的

A/B

测试计划

（测试内容、参与者、分析内容，等等）。

最后会谈到一个关键点，而且也是初学者问得最多的问题：合适的样本容量该是多大？

1.

成功指标

最佳实践

：

在测试开始前清晰地定义成功指标

。

清楚地理解目标和实验非常重要。为何要这样做？在测试开始前，定义关键指标（也称

“总体评估标准”）非常重要。成功意味着什么？如果没有成功指标，你可能会极力策划尽

可能多的测试，并且收集大量数据，但是一旦进入分析阶段，就很有可能遭遇“钓鱼”的

窘况，即统计测试了所有假设情形并得到大量结果。更糟的是，有可能发生随意选取，即

只上报那些看上去不错的指标或者结果。这种方法只会带来麻烦，而不会给组织带来长期

价值。

2. A/A

测试

最佳实践

：

运行

A/A

测试

。

如果

A

代表统计对照组

，那么可以想见，

A/A

测试就是一个对照组加上另一个对照组，两

者会面对完全相同的网站体验。你可能会问，它的价值体现在哪里？益处有以下几点。

第一，可以用它检测和监控测试基础架构以及分配流程。如果你设置系统按照

50/50

的比

例

切分网站流量，但是两个分组的样本容量完全不同，这意味着在分配流程中出现了错误。 ...