可用性测试程序的严密合理可以确保可用性测试的效果,为文档修改提供可靠的依据。
Simpson提出可用性测试可分为以下四个步骤(转引自Byrne,2006:200):
1.确定测试问题;
2.决定所需数据,以回答测试问题;
3.选择可以获取这些数据的方法;
4.计划安排如何实施这些方法。
Rubin和Chisnell提出了更加具体的七个可用性测试步骤(2008:25):
1.确定研究问题或测试目标而不是假设;
2.使用最终用户中有代表性的样本,而不论这些用户是否是随机挑选;
3.复制实际的工作环境;
4.观察最终用户使用或查阅产品原型;
5.测试组织者对测试参与者进行受控采访或深入广泛的采访,了解其反馈;
6.收集定量和定性的用户表现和偏好数据;
7.建议如何改进产品设计。
事实上,可用性测试的步骤还可以分得更细,不同的测试方法和测试组织者都会有不尽一致的测试程序。但是总体上,我们认为可用性测试可分为测试计划、测试准备、测试实施、测试结果分析四个阶段。
(一)测试计划(www.daowen.com)
测试计划是明确可用性测试目的并为了实现此目的而对可用性测试的全过程制定进程安排。由于可用性测试是本地化中目标文档设计的重要环节,所以测试目的需要符合本地化的整体设计目标以及测试在本地化中所处的环节。具体而言,可用性测试主要有两种不同的目的:一是形成性测试(formative testing),为了发现和修正文档的可用性缺陷在文档设计的过程中进行,以提高最终文档的可用性质量,通常依据小规模测试多次实验而完成;二是总结性测试(summative testing),为了确定产品已达到预定的可用性要求或者收集数据改进可用性要求为以后的可用性测试提供新标准,在文档设计结束后进行,通常依据大规模测试获得统计数据以证实测试结论。(Barnum,2011:14)所以设计者在开始可用性测试之前首先要明确是进行形成性还是总结性测试。
测试进程设计是测试计划的另一重要任务。测试组织者需仔细考虑测试准备、测试实施、测试结果分析等每一阶段所需要的时间、人员、技术条件等。组织者考虑得越周到,可用性测试就越顺利。例如,就测试实施而言,他不仅需要考虑是否要进行以及如何进行主要实验之前的试点研究(pilot study)和主要实验之后的测试后调查,还需要设计主要实验中参与者所要完成的具体任务。任务选择得当才能有效发现信息产品潜在的可用性问题。
Byrne认为主要有两种方法:一是根据产品设计者的建议决定测试任务,因为他们对产品很熟悉,往往知道潜在问题所在;二是从普通用户实际使用产品(如软件)时通常要完成的任务中选择测试任务。(2005:157-158)他主张使用第二种方法,因为这更容易发现广大普通用户所遇到的可用性问题,而第一种方法中设计者由于过于熟悉产品往往更关注复杂和高级的问题,忽视对普通用户而言简单和初级的问题。(2005:157-158)
(二)测试准备
测试准备主要包括文档的准备、测试参与者的征集、测试环境与设备的准备。
在目标文档设计中,可用性测试的对象是目标语文档(文档原型或最终文档)。根据测试目的和方法,测试组织者除了准备目标语文档,通常还要准备该目标语文档的其他版本,用于在控制组和实验组之间进行对比测试。文档准备的具体细节则需要根据文档特点和测试目的而定。
征集测试参与者是可用性测试的一项至关重要的准备工作。参与者能否代表最终用户以及参与者人数多少关系到可用性测试得出数据的可信性。由于在目标文档设计准备阶段,设计者对产品的最终用户已经有了比较全面的了解(参见本章第一节中“了解最终用户”),所以选择可用性参与者时应以此为依据。至于测试参与者的人数,设计者除了要考虑时间、资金、能否找到合适的参与者等客观条件外,还要根据测试目的而定。如果是进行形成性测试,每次测试人数在3到5人即可发现一次特定可用性测试中80%~85%的问题(Nielsen,2000;Virzi,1990;1992;Lewis,1994),如果继续增加参与人数,虽然可以发现更多的问题,但大部分问题是以前重复出现过的。但是这并不意味着可以发现产品全部可用性问题的80%~85%(Barnum,2011:17)。若要考察产品可用性的多个指标,那么就要进行多次这样的小规模测试。如果是进行总结性测试,往往需要组织30至50人参与大规模测试(Barnum,2011:15),条件允许还可以选择更多的参与者,以获得更有说服力的统计数据。
测试环境与设备的准备主要取决于是在可用性实验室还是在模拟真实环境中进行可用性测试。如果在实验室进行测试就可以充分利用已有设备(如录音录像设备),只要根据特定的测试要求对设备做出调整即可。如果是模拟用户真实的产品使用环境(如办公室),则需要人为设置类似环境,并临时配备各种测试记录设备。
测试环境的选择主要是根据客观条件与测试设计。例如,有些测试需要使用视线追踪设备捕捉参与者视线的移动方式或停留于屏幕特定区域的时长,通常只能在实验室进行。再比如,在有些测试中测试组织者需要在测试房间外观察测试参与者完成特定任务,不能与其有任何交流,否则会影响测试结果。在这种情形下,测试最好在有单向玻璃的实验室中进行。
(三)测试实施
测试实施时首先要先让参与者清楚测试的步骤、方法与要求。对于参与者从未使用过的测试方法(如加减标注法等),控制者应当让他们进行短暂的热身训练,指出他们的问题,待他们完全适应该方法后才开始正式测试。
测试的过程中,无论控制者是否在测试现场,都应当尽量减少对参与者的干扰,更不能为了测试成功而提示或帮助参与者操作。但他同时又要随时观察用户的操作,确保用户按照测试要求操作,一旦发现违反要求的操作就要及时纠正,否则到测试结束时才发现往往就无法补救,导致测试失败而无法得到任何有用的数据。此外,控制者还可以根据测试内容的不同,在测试的同时记录参与者的某些测试表现,如操作过程中查看手册的次数,操作过程中明显的情绪变化等,为后续的数据分析提供依据。当然,控制者的主要任务还是确保测试的顺利进行,记录数据的工作也可以留待测试结束后进行。
测试结束后,控制者要及时保存测试数据,确定数据完好后再请参与者离开。如果测试还有测试后的问卷调查等内容,控制者还应做好相关工作,做到善始善终。
(四)测试结果分析
依据可用性测试的不同类型(参见本节中“测试计划”),测试数据的分析方法不尽相同。对于形成性测试的结果,通常采用定量与定性相结合的方法分析数据,目的是在小规模测试中发现和修正文档的可用性缺陷,因为定量的分析往往能够发现用户遇到了可用性问题及其严重程度,但有时并不能确定问题的具体位置与原因,而定性的分析往往能够定位可用性问题并找到其原因,甚至提供改进的可能方案,这些都为设计者随后改进文档提供了重要的参考。对于总结性测试的结果,则通常采用定量的方法分析数据,因为在大规模测试中对数据进行统计学分析才能得出比较可靠的结论,确定产品是否已达到预定的可用性要求,或者收集数据改进可用性要求为以后的可用性测试提供新标准。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。