游戏后台测试平台_策划资源文件自动化测试体系

分享者:陈辉
职位:高级测试总监
所在研发团队规模:千人以上
该研发团队职能定位:测试部
分享者介绍:畅游测试团队的负责人，拥有多年游戏行业的研发管理以及质量管理经验；

---

案例简述
该自动化测试体系实现了对公司在研的上十款游戏的策划提交资源的后台自动化测试。当策划提交资源文件到svn服务器后，后台自动触发相应资源文件对应的自动化测试程序，自动分析测试结果，发送测试报告。该自动化测试体系兼容公司各类游戏资源文件格式。单个项目平均覆盖上万张表格检查以及其他类型文件的测试。开发一条测试检查规则平均耗时5分钟。

---

案例解读
1. 案例目标
游戏研发流程中，需要依赖上万张表格（表格平均数十列），表格内容之间互相有依赖性，表格还依赖其他资源文件，如xml或美术资源文件。游戏中很大部分错误是由于策划表格填写错误或所依赖的文件有错误。测试人员需要耗费大量时间进行人工检测，而且实现全部检查是不太现实的事情。该自动化测试体系是为了替代人工检查，扩大资源检查测试范围，将测试提前到策划上传到svn服务器后自动检查，并自动发送测试报告，该测试体系需要同时兼容公司所有的在研项目。
2. 成功（或教训）要点：
a. 一套测试框架适用所有项目。
每个项目由于开发团队不同，开发技术不同，相应的需要检查的资源文件种类，类型，格式都不一样。该框架对各类文件设计了对象读取层，有效避免了各项目文件类型的格式的不统一。
b. 测试框架学习成本低，开发效率快
一名只有几乎没有开发经验的功能测试人员，经过简单一天培训就能开发测试程序，据统计平均一条检查规则开发耗时5分钟。该框架提供了丰富的检查工具库方便测试人员开发测试程序。同时该框架提供了一套完善的测试类继承体系，从源头避免了由于开发人员技能不足导致的测试程序错误或不规范，测试报告可读性差。同时提供测试代码错误行跟踪信息。
c．策划提交文件后自动触发运行
每当策划提交自己更新的资源文件到svn服务器后，后台自动触发测试程序，根据策划提交的资源文件名，后台从上万条测试测试程序中找到该文件对应的测试程序，进行测试，分析测试结果，如果测试结果失败，自动发送邮件通知文件上传者与测试人员。
d．降低复杂规则的测试书写难度
易于开发多个不同类型文件的偶合性测试。例如测试项是某张表格的某列值需要被另外一张表格的一列中定义，同时依赖的文件必须在相应的文件夹下存在，lua文件中必须定义相关函数等等。该框架能快速的开发类似需求的多个文件之间的依赖性检查。
e．测试报告可读性好
测试人员收到测试报告后，不用查阅测试程序即能定位到哪个文件具体哪列出现错误。该框架通过完善的测试类继承体系，从源头避免了了测试报告输出内容的随意性。
f．与自动化综合管理平台结合
各类自动化测试任务通过自动化综合管理平台（网站）结合，所有研发中人员可到网站上选取测试任务，测试服务器，并触发测试任务运行，测试结果在线察看，历史测试结果提供备份与在线察看。在线安排测试任务计划。根据安排的计划时间，后台自动运行测试程序。
3. 案例ROI分析：
以开发一个检查规则5分钟算。折算人工检查一次10分钟，单季度单列该检查规则根据策划修改频率大概进行15次修改，一张表平均20列，一季度大概平均有1000张表被修改。游戏从研发开始生命周期8年计算。
单款游戏节省人工检查时间833人*年。
开发总耗时：208人*日
4. 案例启示：
a. 软件开发中很多复杂问题都可以用分层来解决。
b. 好的测试框架能让一个门外汉也写出专业的测试代码。
c. 当有多种不同检查规则时候，不应该考虑开发检查工具，而是用测试框架替代，利于代码传承，维护，优化。