数据驱动设计：A/B 测试提升用户体验

数据使用指南

｜

35

测试者人数

图 2-1：随着更多用户的参与，从每个后续用户中获取的信息量在逐渐递减。绝大多数人（包

括 NNG，本图表的发明者）都赞同，可用性测试只需 5 名用户参与，便可使你不费吹之力

注

1

发现 85% 以上的可用性问题

相比而言，从大量参与者收集的数据（通常被称作“大样本研究”）可以提供更加精

确的量化及频率信息：多少人存在相同的感受，以及执行某种操作的用户占比是多少

等。理想的环境中资源是无限的，你可能认为尽量多地收集数据总是最好的选择，这

确保你掌握全部信息。然而，你可能没有时间以这种方式进行研究。通常，样本量越

大，得到的结果越能够代表整体情况（只要样本具有代表性，稍后讨论这个问题）。

一些统计学方法可以用来确定进行数据收集的用户量，以保证结果达到一定的可信度。

我们不再深入讨论更多细节问题，假如你想了解更多，建议与你的数据分析师或数据

科学家进行沟通，探讨关于样本大小和统计规模之间的关系。

为什么实验

刚刚讲了数据的多种维度。实际上，精确细腻地处理各类数据需要耗费数年时间（这

将占用本书成百上千页内容）。相比肤浅地研究处理多类型数据，我们决定专注于一

种类型的数据收集：通过

A/B

测试开展实验。

注

1

：

NNG

（

Nielson Norman Group

）。需要注意的是，这个统计数据建立在某些假设的基础上，

包括样本的同质性，以及总体中可用性问题的基本占比。发现

85%

可用性问题所需的用户数

量可能会变化。阅读原始调研资料将有助于了解这个数值背后的假设。