# 小游戏云测试更新说明(2021-07-22)

# 一、新特性

# 1. 运行性能指标优化--新增Jank和卡顿率指标

小游戏流畅度有多种指标可以衡量,比如FPS、FPS抖动、Jank等。目前云测试中衡量流畅度的指标主要是FPS、FPS抖动和FPS低帧。其中FPS抖动和FPS低帧是一分钟统计一次,粒度过于粗糙,难以精准地统计到每帧的流畅度。 因此我们将这两个指标下掉,替换成了Jank、Big Jank、卡顿率峰值和卡顿率均值。这些指标可以统计到每帧的卡顿情况,更容易定位运行性能问题。

备注:目前iOS系统暂不支持这几个指标的采集,将在后续支持。

Jank、Big Jank、卡顿率的定义如下:

  • 当画面渲染一帧的FrameTime大于83.33毫秒,并且大于前三帧平均耗时的2倍时,该帧被记为一次Jank
  • 画面渲染一帧的FrameTime大于125毫秒,并且大于前三帧平均耗时的2倍时,该帧记为一次Big Jank
  • 卡顿率指测试过程中,卡顿时长的占比,即卡顿时长/总时长。卡顿率峰值是指测试过程中,单位时间(1秒)内卡顿率的最大值;卡顿率均值是指测试过程中,单位时间(1秒)内卡顿率的平均值。

Jank 和 Big Jank具体出现时刻也会体现在折线图中,如下图所示:

image-20210721213611111

# 2. 运行性能评分优化

原来运行性能的评分是根据CPU、内存峰值、FPS、FPS抖动次数等指标,在所有测试设备上的分数计算所得;因为FPS抖动次数指标的下架,对应运行性能的评分规则将改为根据CPU、内存峰值、FPS、卡顿率均值等指标,在所有测试设备上的分数计算所得。四个指标的权重均为1/4。具体评分计算方法可以参考云测试评分计算方法

修改后的运行性能评分界面如下图所示:

image-20210722115811461

# 二、后续优化内容

# 1. 场景地图测试

当前云测试提供了标准测试、录制回放和测试框架三种模式。当开发者想要测试指定场景时,往往采用录制回放的测试模式,但如果游戏界面发生改变可能导致回放失败。 因此我们后续将提供场景地图测试,开发者可选择历史测试过程中覆盖的场景提交测试,云测试会依照用户提交的场景作为趋向引导,尽可能尝试进入选择的场景,达到更好的自动化遍历效果的测试需求。