/【雷火UX用户研究】疫情期间,如何顺利进行外国玩家测试?——我们的经验和建议

【雷火UX用户研究】疫情期间,如何顺利进行外国玩家测试?——我们的经验和建议

引 言

疫情,让用研人与玩家的面对面接触变得不便,尤其受到跨国出行限制的影响,接触外国玩家显得更为困难。但同时,在国内游戏行业大规模出海的当下,接触外国玩家,并通过测试收集他们的游戏反馈和建议又显得很有必要。问题来了:如何在疫情期间,顺利进行外国玩家相关测试呢?这篇文章介绍了我们实际工作中总结出的一些经验和建议,希望能给大家带来启发。

1
 方案一:线上远程测试  

得益于疫情期间线上办公等技术的显著进步,基于在线会议软件进行的线上远程测试成为多数用研人进行外国玩家测试的首选方法。线上远程测试中,玩家、用研测试人员甚至是产品可以加入同一个在线会议,通过玩家端录屏的方式,测试人员和产品能够动态关注到玩家游戏的各种操作,并且和线下1V1测试一样,实时记录测试中玩家的一切语言、情绪反馈。此外,游戏体验完毕后,测试人员可以将测后问卷、量表在线发给玩家,玩家的填答反馈也会以高效的在线问卷/量表反馈给测试人员,相关数据甚至可以直接生成图表,可谓十分方便高效。

(一次线上远程测试截图,可以看到,测试人员能够实时关注玩家录屏中的操作情况)

但是,在实际运用线上远程测试方法时,我们会遇到各种各样的问题,这也为我们评估这种测试方法的易用性和适用情境带来了一定影响:

(1)如果测试中需要玩家通过录屏的形式展现游戏内操作,那会对玩家硬件设备以及网络情况提出明确要求,这也在很大程度上影响玩家的测试参与意愿:一般来说,如果是一个需要录屏的远程测试,那么玩家不仅要准备游戏设备(手机、平板电脑等),还需额外准备录屏设备(比如装有在线会议软件的手机)。此外,测试过程中玩家处的网络连接状况也是需要关注的,尤其是测试游戏需要上网联机的情况。测试中如果出现网络连接卡顿甚至掉线的问题,都会对测试效果和最终结论产生影响。以上种种,最终都会在很大程度上提升了玩家招募的门槛

(2)线上远程测试,会在测试时长上有明显限制。通常情况下,线下玩家测试会要求测试人员提前准备场地,并根据测试内容量安排测试时长,短的测试多为半小时-1小时,长的可持续几个小时。但在线上远程测试中,为了能清晰展现游戏操作,玩家会被要求以相对固定的角度持续体验,如果测试时间过长,一些玩家可能会产生疲惫感,进而影响到TA对游戏的主观情绪和评估结果。此外,国外常用的一些在线会议软件(如Zoom)在免费使用的情况下会有单次会议时长限制(如Zoom基础版的单次会议时长最多为40分钟),这也在一定程度上限制了我们的测试时长。


考虑到以上可能存在的问题,我们总结了外国玩家线上远程测试可能适用的测试需求和情境:
●  内容相对简单,整体时长在1小时以内的外国玩家测试,可考虑选用远程测试方法;
●  考虑到线上远程测试对玩家硬件设备、设备调节能力以及网络连接情况的可能要求,不强调招募玩家覆盖广泛年龄层和社会身份的外国玩家测试,可考虑选用远程测试方法;
●  满足以上条件后,如果产品有明确的观摩测试过程、与外国玩家面对面交流意愿的话,优先选用能支撑多人在线参与的远程测试方法。


2
 方案二:线下1V1测试  
 

虽然线上远程测试有诸多便捷之处,但对于内容丰富、时长相对较长的测试内容,线上远程测试的优势就不那么明显了。此时,传统的线下1V1测试仍是许多用研人普遍采用的调研方法。1V1测试方法和流程在之前的诸多文章中已有所介绍,而当测试对象是外国玩家时,使用该方法的特殊性在于,我们通常会采用两个不同的玩家接触和招募策略:
●  在国外接触外国玩家,
●  在国内接触外国玩家。

而玩家接触测试的差异,也会让我们在准备和执行线下测试时,遇到截然不同的挑战。

在国外接触外国玩家的优势和难点,以及相应的策略

能够在国外直接接触外国玩家是非常理想的测试策略:首先,满足测试要求的潜在玩家群体较大,玩家招募速度快且质量有保证;其次,相比于在中国工作、学习和生活的外国玩家,国外接触的外国玩家会较少受到游戏生产地(中国)相关游戏文化和习惯的影响,给出的游戏反馈和建议也比较贴近普通外国玩家的需求。但是,疫情也给国外接触带来了严重的阻碍——作为用研人的我们,很难在跨国出行受到限制的当下出国执行测试。


为解决这一问题,在海外招募测试兼职,成为我们主要考虑的策略。在这里,海外测试兼职是具有一定要求的:
● 测试兼职外语能力扎实,不仅能够和外国玩家直接对话交流,还要有出色的外语书面记录能力,尤其是在测后访谈需要记录玩家原话的情况下;
● 测试兼职要能有一定的测试方法积累,有社科大类(包括但不限于心理学、社会学等学科)学习经历的兼职是非常具有优势的;如果没有相关学术背景也没有关系,只要兼职不排斥测试方案和内容,也是可以通过测前培训学习相关测试技巧;


兼职招募完毕后,测试设计人员需要进行系统的测前培训,帮助兼职们了解测试目的、方法和结果要求。如果实际工作中要多次使用海外兼职测试方法,那么统一且完善的测前培训是非常重要的。一般来说,在设计测试内容的同时,培训所需的测试人员手册也要制作起来,测试手册的基本内容需要包括以下方面:

● 测试目的:为什么要做测试?测试想要验证什么?得到怎样的结论?这些问题都需要明确回应
● 测试时间安排:考虑到兼职在国外,国内的测试设计人员对具体测试安排的把控力度有限,所以明确的测试截止日期(DDL)显得格外必要
● 玩家招募要求:性别分布、年龄层分布、国籍情况(最好不要给笼统的地域划分标准,比如“欧美”,需要明确需不需要包含具体地域,如东欧、拉丁美洲等)、玩家游戏经历要求(明确品类和对应竞品,比如:要求玩过类似于Animal Crossing等模拟养成类游戏的玩家)、希望完成的玩家样本量等
● 测试材料使用方法:一般来说,1V1线下测试所用的材料包括观察单、测后问卷(量表)、访谈提纲等。如何正确并有效地使用这些测试材料?使用过程中需要规避哪些潜在坑点,建议在手册中进行明确
● 测试流程:测试过程中,玩家的体验模块、体验先后顺序等,需要明确;如果测试过程中有需要兼职明确关注的交互坑点(例如玩家可能会遗漏一些功能按钮的使用等),在手册中需要明确,以防兼职在测试中不慎遗漏

● 测试结果提交方法:需要提交哪些测试结果,如何提交?

当然,可能会有些兼职反映测试手册信息量太大,“有点看不过来”。那么在测试时间相对充裕的情况下,国内的测试设计者可以通过远程培训的方法,面对面讲解测试手册内容,并在线答疑。测试过程中,如果兼职有任何问题,国内的用研人也需要提供通畅的问题反馈渠道,这样也能帮助国外的兼职们更好地完成测试工作。


在国内接触外国玩家的优势和难点,以及相应的策略

相较于通过兼职完成的海外玩家接触和测试,国内接触和测试外国玩家的优点显而易见:作为测试设计者的我们可以自己上,全程把控测试进度和质量。但是,不足之处也同时存在:本地接触到的外国玩家是否满足产品的玩家国籍要求?(实际工作中我们发现,在国内招募符合要求的北美、西欧地区玩家是存在困难的,潜在玩家群体比较有限)这些玩家给出的建议是否能贴近一般外国玩家的需求,而不是深受中国游戏环境和习惯的影响?


为了尽可能地避免以上针对国内接触的外国玩家的质疑,在玩家招募和遴选过程中,我们可以使用以下策略:
● 尽可能地在外国玩家聚集的线上社群中进行接触,包括但不限于本地外国人生活/学习社群、酒吧闲聊群、游戏群等;这里的玩家通常具有社交性,接触到一个符合要求的玩家,也能帮助我们通过“滚雪球”的方法招募到更多潜在玩家

● 如果玩家国籍要求较为宽泛(例如包含第三世界玩家)的话,那么本地的大学留学生群体、外贸公司的外国员工群体等,也是可以尝试接触的潜在玩家社群。

考虑到国内的外国玩家招募存在难点,测试结束后,也别放弃来之不易的玩家招募渠道和资源,持续维护已有的外国玩家沟通渠道是十分必要的哦。


3
   结   语    

从上面的分享中可以看出,无论是远程线上测试,还是在国外或者国内进行的线下外国玩家测试的方法,其实都有自己的使用优势和难点。所以在实际使用这些测试策略时,我们需要在明确测试需求(如玩家人数要求、游戏经历要求等)的基础上,合理选择不同的测试方法,甚至在特殊情况下,同时使用不同的方法,以扬长避短。以后的工作中,我们会不断优化外国玩家测试方法,争取为大家提供更多可供参考和借鉴的经验。

往期推荐


本文来自微信公众号“网易雷火UX用户体验中心”(ID:LeihuoUX)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。