评论

云测试评分体系

“云测试评分体系”旨在帮助开发者快速定位测试报告中隐含的问题,过滤出存在问题的设备。通过对每一项指标打分的方式,给开发者一个直观的各个指标优劣的感受。

重要:文章路径更新,参考 链接!!!!


云测试评分体系

1. 评分简介

小游戏云测试功能上线后,很多开发者反馈面对众多测试结果数据,难以快速定位小游戏可能存在的问题。因此“云测试评分体系“应运而生。“云测试评分体系”旨在帮助开发者快速定位测试报告中隐含的问题,过滤出存在问题的设备。通过对每一项指标打分的方式,给开发者一个直观的各个指标优劣的感受。

2. 评分规则

2.1 评分标准

评分标准详情见小游戏性能评测标准中的”开发阶段评测标准”。

iOS 开发阶段性能评测标准

Android 开发阶段性能评测标准

2.2 评分指标

根据评测标准中的指标,每台设备的测试结果中会有13项指标参与评分。依照评分标准将指标归类为四类评分项,分别是:

  • 启动性能:总启动耗时

  • 运行性能:CPU占比、内存峰值、FPS、FPS抖动次数

  • 网络性能:wx.downloadFile失败率、wx.request失败率、wx.uploadFile失败率、wx.sendSocketMessage失败率

  • 兼容性:黑屏率、JS错误数、启动失败

2.3 机型分类

将云测试中的每台设备根据系统和档型进行分类,得到6类机型:

系统\ 档型 高档机 中档机 低档机
iOS iOS 高档机 iOS 中档机 iOS 低档机
Android Android 高档机 Android 中档机 Android 低档机

2.4 得分规则

每台设备的每个指标得分有四种情况:100分,80分,60分和0分。

每台设备的指标和对应的标准进行对比:

  • 指标值达到优秀值,该项指标得100分;
  • 指标值达到平台建议值,该项指标得80分;
  • 指标值达到达标值,该项指标得60分;
  • 否则,得0分。

最终,每台机器会得到13项评分指标的分数。

2.5 具体流程

STEP 1:将每台设备中的测试结果根据评分规则得到13项评分指标的分数。

STEP 2:对每类机型下的所有设备的得分取平均值,得到该类机型下的13项评分指标的平均值。

STEP 3:对每类机型下的评分指标平均值,按照评分项类别取加权平均值,得到每类机型下的4类评分项得分。

STEP 4:对所有类别机型下的4类评分项得分,按照现网各类别机型占比取加权平均值得到每个评分项的最终得分。

2.6 计算公式

评分项的评分计算公式如下:

其中,表示机型的索引,比如iOS高档机时

表示小游戏现网环境下机型的占比,且;

表示机型的评分项的得分,其计算公式如下:

其中,表示指标在评分项的衡量指标中的权重,

分别表示评分项的评价指标的Start Index和End Index;

表示该指标在该类机型下的平均值,其计算公式如下:

其中,表示类机型下的设备数量,表示设备指标的得分。

机型下 的设备的得分列表为[, ,……,]。

因此,评分项的评分计算公式汇总如下:

2.7 评分规则示意图

最后一次编辑于  2020-08-27  
点赞 2
收藏
评论
登录 后发表内容