茅坑站位。
像专家一样做好可用性测试记录
原文链接:http://www.userfocus.co.uk/articles/datalogging.html
观察可用性测试似乎很简单,但是在测试中却很容易分散注意力,导致只记录下那些明确的或显而易见的可用性问题。观看测试的同时,你应该以单个字母编码的形式把参试者每一分钟的行为都做观察记录。数据日志帮助你记录所有的行为,而不仅仅是很明显的那些,并提供了你在创建一个可以提交给设计团队的可用性事务清单时所需要的一切。 — DAVID TRAVIS, APRIL 1, 2010
我是如何意识到需要在可用性测试中停止浪费时间的?
James依靠在椅子上眨着眼睛,他今天做了5个测试,老实说,日子并不好过。从第二个参试者开始,重复的问题就开始出现,那时James的注意力有点分散了;第三个参试时,他在查看邮件;第四个时他在上社交网站。他知道自己应该在测试的时候集中精力,但是他也试图劝说自己:第二天回看屏幕录像时也可以做好。
当james回看第一个纪录时他知道自己想错了,因为麻烦来了。屏幕录像没问题,可以在画中画里面看到参试的面部表情,但是没有声音。他检查了调整声音的按钮,但是声音是开到最大的。他跳到下一个录像,再下一个,直到最后一个,都一样——由于某些不知道的原因,麦克风没有正常工作。
他不知道自己的5个参试到底说了些什么。
James翻开自己的笔记本,开始叹息——在那半页的涂鸦上没有多少有用的信息。他可以回忆起开始时前几个参试的一系列明显的问题,但是他知道,对于设计团队而言,仅有这些是不够的。
他会在报告上放些什么?
传统的记录方式
如果曾经观看过可用性测试,你可能会知道,通常情况下记录很难跟得上测试的进程。开始似乎什么也不会发生——突然,一系列可用性问题就会同时涌现出来。这时候把他们都记录下来似乎是不可能的:你记录下一个可用性问题,但是却因此错过了下一个问题。你看着参与者挣扎在另外一个困境中,你想知道,参与者是如何到达这里的,而自己又错过了什么。
如果你的职责是引导测试并做记录,可能是更困难的:你怎么能集中在参与者身上并同时做记录呢?
所以,也难怪有些人认为该问题的最容易的解决方式就是采用James的态度:跳过做记录的步骤,只去回看视频记录,或者只在每一个参试完成之后记录下关键的问题。
虽然这听起来是最容易的解决办法,实际上却不是。被动地观察多个可用性测试是很枯燥的——这种情况下,在你观察连续的参与者时会很难集中精力。我不确定这是因为在一个房间呆的太久了或者因为后续的参与者遇到了你之前看到过的问题 或者有些参与者确实很没趣。不管原因如何,你需要一些帮助自己集中注意力的方式,或许你可以不停地去喝咖啡。
采用这一解决方案的另一个原因是,你的记录是和观察混杂在一起的。回看你的记录,你会看到参与者的观点(“我喜欢更大一点的搜索框”)和行为观察(“参与者并不理解“联系人标记””)混合在一起,还有一些人口描述记录(“参与者每个月手机费大约是30块”)。
什么是数据日志?
这里是另外一个解决办法。
你观看测试时,你应该以单字母编码的形式记录下你对参与者行为的观察,这是一种被称作“数据日志”的方式。数据日志是由动物和人类行为方面的学生发展出来的一种快捷记录方式(如果想了解关于该方法的更多背景知识,可以求助生态学家的圣经,“Measuring Behaviour”)。
数据日志的优点
- 同时出现大量的观察点时,你只需要记录下编码——你可以在随后的视频录像中回看该部分;
- 浏览你的记录时,观察编码使得更容易从其他观察中区分出来同类的观察(例如,可用性问题);
- 数据日志确保你记录下所有的行为,不仅仅是那些容易发现的(这也帮助了在你的观察中减少由于人类记忆重构的本质引起的偏见;
- 这种形式的轻量文档使得在没有正式的文档的情况下,快速迭代的设计项目知道是什么在驱动当前设计;
- 当你遇到James那样的困境时(例如,声音效果很差或视频被损坏),数据日志是你可以庆幸自己做过的事情。
作为第一法则,平均下来你应当每分钟都会做好观察。但是记住这只是平均:观察有点像公交车(很久都不来,一来来三辆)。对于每一个观察,你应当记录:
- 时间
- 观察分类
- 简短的描述
下面从测试中的一个摘要:
Time Class Description
4:35 M Scans nav options but doesn’t choose
5:10 C ”I’m looking for a search box now”6:07XDoesn’t seem to spot the link to the ‘search’ page
其中,M是非核心观察项的短编码;C是一般性评论的短编码;X是可用性问题的短编码;
下面是我在自己的测试中使用的标记定义的清单;如果你之前没有做过数据日志,这些清单可能看起来有一些“壮观”;如果确实是这样,在自己有足够的自信前,可以使用其中的2~3项。
Marker definitions
Code Definition description
X Usability problem
D Duplicate usability problem (described earlier)
V Video highlight — an “Ah-ha!” moment
C Comment (general comment by participant)
P Positive opinion expressed by participant
N Negative opinion expressed by participant
B Bug
F Facial reaction (e.g. surprise)
H Help or documentation accessed
A Assist from moderator
G Gives up or wrongly thinks finished
I Design idea (design insight by logger)
M Misc (general observation by logger)
可以用得到的技术
你所有需要做的就是一个电子表(或者有秒针的石英表),一支笔和一个便签簿。为了防止遗忘,你可能需要打印一张可以提示正在使用的代码的纸。
也有一些技术可以帮助你。Todd Zazelenchuk写了一篇描述一些数据日志的工具的文章,接下来,我讲介绍3众不同的工具以方便你了解技术可以如何帮助你。
livescribe
The Livescribe Pulse is part pen, part digital recorder and part scanner. 随着你在特殊点的纸张上记录,内嵌在智能笔头的摄像头会跟踪你写下的每一件事,一个内置的数字录音笔会记录下房间的声音。当你回顾记录时,你可以通过把笔指向记录的相应位置温习测试过程。例如,如果你指向表示可用性观察的“X”,你实际上可以听到(通过笔中的迷你话筒)做记录时房间内发生的一切。也可以把记录和录音导入到电脑。听起来这是比较神奇的技术——确实是这样。不幸的是,记录的音频质量不太好,而且笔很粗,拿在手里有些奇怪(对我而言,结果是使得我写的很凌乱,记录反而少了)。
Morae
Morae是可用性测试最佳的软件平台,它包含了一个内置的数据记录工具,可以以时间戳记录并与参试筛选记录同步你的观察。你可以在参试记录中查找不同的观察代码并导出观察代码和相应的记录到Excel。Techsmith对于使用morae做数据记录有一个很好的视频。如果你已经有了Morae,我建议你使用它做记录。但是如果你没有Morae,你会发现数据记录会比较耗费时间和精力。
Excel
大部分人的电脑上都装有Excel,excel的表格式呈现形式使得在可用性测试环节记录是一个自然的选择。很容易在excel中把一列设置为时间,一列作为观察类,一列作为你的记录。excel中不容易做的是给观察打上时间戳。你可以发现大量的可以完成这些的宏,但是你发现自己的公司坚持要你禁止使用宏以减少病毒的风险。Mac上的最近版本的excel已经不支持宏了。
幸运的是,有一些权变的方案。你只需要告诉excel允许循环引用,
然后创建一个循环公式。
下面是我准备的一个excel表单,
你可以拿来给观察打上时间戳。
如何使用数据日志在几分钟内撰写一份报告
如果你使用例如excel一样的程序记录观察,你可以排序并很容易地编辑观察到的内容。在表单中添加一些列(例如,“可以修补”和”所有者“),这就成了给开发团队的bug清单。
你需要统筹一下这些发现,合适地解读可用性问题,并发展可用的修订,但是一旦你完成这些,你可以邮件给开发团队,你就创建了世界上最快的可用性报告。
追求成功的人可能想要调整一下excel中观察记录的格式,这样在使用word的邮件合并功能时它们看起来很美观。一旦你设定了这样的模版,这可能会让别人认为你可能花了几个小时才完成了实际上几分钟完成的事儿。
你的报告正在被开发团队阅读时,像James那样传统的可用性从业者才刚刚开始回看测试过程的记录。
你会发现,像这样的快速的报告会使你在管理和开发团队都很受欢迎。
固定链接: http://eyetracker.cn/?p=40
草译于:2012年5月1日