本文将指导开发者如何解读测试报告。

# 测试概况

在测试概况部分,会简要统计出本次测试任务的基本配置、执行情况、执行结果。 可主要关注出现如下问题的设备:

  • 失败:测试过程中出现Crash/JSError/黑屏等问题,或自定义脚本执行失败
  • 建议优化:启动性能/运行性能/网络性能等未达平台建议值

也可根据出问题设备在系统、品牌、档位上的分布来判断是否为普遍性问题:

# 多种维度看问题

测试报告会分几种不同的维度来反映本次测试发现的问题。

# 评分维度

本维度以一套质量评分规则为基础,通过评分,直观反映游戏在4个质量维度的表现。
因为评分规则充分考虑了不同类型指标、不同机型档位、不同质量等级的影响,所以最终得分可以综合、客观地反映出游戏的质量水平。
根据评分规则的设定,低于80分的情况是建议进行优化的。

# 指标维度

本维度主要从需要重点关注的质量指标角度来反映问题。

  • 启动耗时:从启动游戏到首帧开始渲染的总耗时。可从报告中提供的总启动耗时分布、不同档位机型的分阶段耗时分布、启动耗时Top设备列表等来找到问题比较突出的设备类型,然后进行针对性优化。优化方法可参考:启动优化最佳实践
  • 运行内存:主要内存类型(total,graphics,native,private-other)的值。可从报告中提供的总内存分布、不同档位机型的细分内存分布、内存消耗Top设备列表等来找到问题比较突出的设备类型,然后进行针对性优化。优化方法可参考:内存调优

# 设备维度

本维度主要从设备角度来反映问题。可根据每台设备的具体问题来一一定位和解决。

# 设备详细报告

包含单个设备上的完整、详细的测试数据。 主要可关注:运行过程截图问题列表

同时能查看 启动性能、运行性能、网络性能、兼容性 等4个维度上的具体数据。




# 历史报告对比

可以通过历史报告对比功能来比较不同版本的优化效果。


可通过3个维度来分别对比:

# 对比整体结果

主要包括测试时间,版本号,测试类型,测试设备数以及评分对比展示。点击“取消对比”可以关闭对比详情页面。

# 对比指标均值

主要对启动性能、运行性能、网络性能三个分类下12个具体指标进行对比,默认对比数据来源是全部设备,点击“相同设备(共x台)”可以切换到相同设备对比。
全部设备会统计所有测试设备数据,相同设备则只会统计两次测试均覆盖的设备数据。

# 对比设备详情

点击“详细报告”可以跳转到具体设备报告页面,如果两次测试均覆盖的设备,则有“对比详情”,点击可以查看具体设备的对比详情。