定性研究,如何确定用户样本量“几个”是合适的

植夫发布

yh20161129-2

相信很多用研同学都听过这句著名的话:

根据尼尔森关于可用性测试的经典理论,6-8人便可以找到产品80%以上的可用性问题。

但是……为啥呢?当有“无知的”地球人问:为什么6-8人就能发现80%以上的问题时,难道我们要理直气壮的说:因为是尼尔森说的么……

在样本量选择上似乎有一些“约定俗成”的规定。比如:可用性测试5-8人,问卷调研大约200-500份等等……但是,当需要和地球人理论时,单单的“约定俗成”却没有足够的说服力。不如让我们一起来看看这些“约定俗成”背后的科学道理,让自己更有底气。

在为定性研究决定一个确切的样本量的问题上,我们并没有一个被广泛认同的公式。任何人都说其他人是错的, 我们只能看看以学术研究先例为基础的一些建议方针

为什么说可用性测试5-8个人就够?

8个人可以80%的概率发现发生可能性大于18%的问题。

这话太绕了,尝试用人话解释一下:如果某个APP中存在一个BUG,100个人用,50个人用都会遇到,那么我们至少有80%的可能性发现。只要可能遇到的人大于18个(发生可能性大于18%),我们都至少有80%的可能性发现。但如果这个BUG只有5个人可会遇到,那么能发现的概率就要低于80%了。

之所以这么说,背后的原理是这样一个公式:

(P(X≥1)是在n次尝试中事件至少发生1次的概率,p是某事件的概率)

前辈们根据这个公式总结出了下表:

资料来源:《用户体验度量》Jeff Sauro,James R.Lewis著,机械工业出版社,P134-135

从表中可以看出,决定样本量涉及到两个因素:一个是确定程度,一个是问题发生的概率。

Tullis与Wood经过实验分析得出参与者人数最好是20~30 人,此时邀请参与者的实验结果与最终结果的相关度可达到0.9以上。

可用性专家Nielsen认为大多数可用性研究,5个人就可以达到0.75的( 参与者的实验结果与最终结果) 相关度,他推荐卡片分类的用户数只要15人左右即可达到0.9的相关度。

Jakob Nielson建议可用性测试的样本量为5个。然而,他增加了一些限定词,这个建议仅仅适用于可用性测试研究,不包括探索访谈、情境调查或其他在调研初始阶段广泛使用的定性研究方法。

那么,我们应该如何决定一个定性研究的样本量?

事实上,预算和时间通常决定了样本的大小。如果你的项目期望在8-10周的时间里完成调研-设计-开发工作,你将不会有足够的时间来访问50个人并且对数据做严谨的分析。一个10到12的样本量可能对于这样的项目来说更加现实。从调研开始到分析完毕,你只拥有2周的时间。当你耗尽了你的调研资源时,调研将终止。但我们的客户和同行想要我们根据这个数据给出一个有影响力的推荐方案。

1、定性样本量公式

基于我对Research by Design的方针的翻译,决定样本量的公式如下:

样本量[N] =(范围[S] × 特征[C] )÷ 专业程度[E] + / – 资源[R]

关于这个决定你定性样本量的公式,这里有其四个要点的描述和例子。

  • 调查的范围

你需要考虑你在试图完成什么东西。在考虑样本量时,这是最重要的因素。你是否打算从头开始设计一个解决方案?或者你是否打算定义一个提升现有产品可用性的小节点?如果你打算创造一个全新的体验,你应该最大化你的调研对象。如果你试图定义你应用中的付款流程有什么潜在的困难,那么你只需要更少的调研对象。

数字上,这个范围可以是1到无限中的任一个数字。

  • 针对现有产品的调研(比如,可用性测试,定义新功能,或研究现有的状况);
  • 创造新产品(比如,一个收纳了所有你的员工所使用软件的新门户网站);
  • 超越产品之外范畴(比如,在一个研究刊物刊登你的研究成果或宣布一个新的设计流程)。
  • 你的样本量应该随着你的范围的增加而增加。
  • 研究的人口特征

随着你调研人口的多元增加,你的样本量也应随之增加。你将需要每个不同人物画像的多种代表或用户类型。我推荐每种用户类型至少有3个受访者。这允许我们对每个用户类型的用户体验有一个更深层次的探索。

  • 研究人员的专业程度

有经验的研究员比经验不足的研究员更能从小的样本量中挖掘更多的信息。定性研究员用与定量研究员不同的方式,将他们自身投入到数据收集的工序中。在问卷调查中,你无法根据无法预知的相关话题来改变你的问题大纲。但在定性研究中,你能根据受访者的实时反馈来调整你的访问大纲。有经验的研究员将根据受访者的回应生成更多更高质量的数据。一个有经验的研究员知道如何、何时根据受访者的回应进行深度挖掘。有经验的研究员带来的历史经验能为数据分析增加洞察力。

数字上,专业程度(E)能从1到无限。现实中,这个范围应该在1到2 。例如,一个没有经验的研究员应该值1,因为他们将需要完整的样本量,且随着项目的推进,他们也随之获得经验。采用数值2时你的样本量将减半(在公式中),这也是最极端的。我推荐每增加5年工作经验,这个值就增加0.1,例如5年经验的研究员应该让你的公式中的专业程度(E)=1.10。

专业能力能加快调研的进度以及减少用研所需的样本量。

  • 资源

一个不幸的事实是,在决定样本量时,你不得不将预算和时间约束考虑在内。随着你的样本量的增加,你要么需要增加时间,要么增加这个项目的研究员数量。大多数的客户和项目要求你确定好预期的调研对象数。时间和资金也将受这个数字的影响。你需要预算时间来招募调研对象和分析数据。同时,为了完成你的职责,设计和开发的需求你也得考虑在内。如果你的研究结果跟他人提出来的结论没什么两样,同行也会觉得你的调研发现没有什么价值。在团队急需用研结果的时候,相较于一个需要拖很长时间才能出结果的样本量,我推荐缩小样本量来及时获取信息。

数字上,资源的值可以是N-1或N+1或更多(N为预期的样本量)。你将基于成本和招募受访者、实施调研和数据分析所需的时间来决定你的资源。在之前的尝试中,你可能有了一个具体的数字。你需要将获取样本所需要的时间和资源做一个预算,或者相应地减少你的样本量。因为这就是生活中的现实,我建议你事先把这些事情考虑好。

2、数据饱和

数据饱和是来源于学术调研的一个概念。学者们对饱和的定义也是各执己见。最基础的理念是获取足够的数据来支持你所做的决定,然后穷尽你所需要分析的数据。为了创造一个有意义的问题和推荐你已经详尽无疑的数据分析,你需要获取足够多的数据。达到数据饱和取决于你具体的数据收集手段。访谈通常被用来做为最能保证达到数据饱和的研究手段。

通过收集丰富的数据来达到数据饱和。丰富的数据为你正在调查的问题提供了深度的洞察力。丰富的数据是良好的访谈问题、随访提示和经验老道的研究员的产出物。基于数据收集的质量而非样本量,可以让你收集到丰富的数据。访谈一个3人样本,人均1小时,与访谈一个6人的样本,人均30分钟,前者更可能获取到更好的数据。你需要打磨你的问题来收集丰富的数据。当你创建了一个问题大纲时,让他人帮你优化和提供反馈,并且事先演练一下数据收集,这样可以帮助你收集到丰富的数据。

数据收集饱和的案例

假设你已经决定好你的银行调研项目需要一个15人的样本。

你创建好了访问提纲,然后将焦点放在过去的五年内你的受访者跟银行之间有怎样的体验上,不管是亲身体验还是在线体验。在每个受访者身上你花了1小时进行访问,细致入微地问尽了你的问题线索和随访提示。

你同时收集和分析了数据。在12个访谈过后,你发现在你的数据里呈现出了下面几个关键问题:

  • 用户觉得银行缺乏透明度;
  • 用户拥有一个糟糕的初次使用体验;
  • 用户更迫切地想要去一个能感受到个人联系的银行。

你的团队聚在一起讨论主要问题以及探讨如何将之应用到你们的工作当中。团队最终决定创造一个基于Web的初次使用体验,促使银行账户收费方式透明化,这个概念旨在向用户说明你的客户是如何允许用户分享个人银行体验及邀请他人的。这些都是你的受访者所说,在开户体验上缺失的主要方面。

你已经达到了两个所需的饱和之一:收集了足够有意义的信息来定义主要问题和做出推荐方案。你从调研结果中有了一个可行的解决方案:建立一个强调透明化和个人联系的初次使用体验。而且它仅仅在你访谈了12个受访者后就得到了。你完成了剩下的3个访谈来验证你已经了解到的东西,并为下一部分的“饱和”储存了更多数据。

数据分析的饱和

你细致入微地分析了收集到的数据来达到数据分析的饱和。不管样本量是1还是100,这意味着你已经用功地完成了你分析数据的职责。你能通过许多方式分析定性数据。有些取决于你采用的具体数据收集手段。

你需要对你的数据进行提炼(【译注】data coding:定性研究中将收集到的信息整理、归纳、分类、概括的数据分析方法)。你可以归纳性地提炼(基于数据显示的信息),或者演绎性地提炼(预先决定好的提炼方式),试图确定数据中有意义的问题和要点。当你完成了所有数据的提炼和根据提炼的数据确定了问题时,你就让数据分析饱和了。

数据分析的饱和

我们将建立一个电子表格来管理我们收集的数据。横向为问题,纵向为受访对象。

例表1:数据分析电子表格

6

接下来,我们增加了电子表格的第二个标签页,然后基于数据呈现进行提炼

例表2:数据提炼电子表格

7

下一步,我们回顾了数据来确定相关的问题

例表3:问题和引言的电子表格

8

可信度很快作为主要问题呈现了出来。几乎每一个受访者都提到了系统缺乏可信度。研究设计员跟我们说,他们不信任创建研究的架构。临床数据收集员跟我们说,他们不信任新手研究设计员。而管理员跟我们说,他们不信任研究方案的设计,不信任数据收集员的精准度和系统能100%准确地存储和上传数据。

我们的推荐方案把概念设计的焦点放在交互和功能上,以增加产品的可信度。

参考资料

Victor Yocco《 Filling Up Your Tank, Or How To Justify User Research Sample Size And Data 》译者|@门卫阿伯

谈谈样本量选择背后的科学道理

分类: 用户研究

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据