重要:文章路径更新,参考 链接!!!!
云测试评分体系
1. 评分简介
小游戏云测试功能上线后,很多开发者反馈面对众多测试结果数据,难以快速定位小游戏可能存在的问题。因此“云测试评分体系“应运而生。“云测试评分体系”旨在帮助开发者快速定位测试报告中隐含的问题,过滤出存在问题的设备。通过对每一项指标打分的方式,给开发者一个直观的各个指标优劣的感受。
2. 评分规则
2.1 评分标准
评分标准详情见小游戏性能评测标准中的”开发阶段评测标准”。
iOS 开发阶段性能评测标准
Android 开发阶段性能评测标准
2.2 评分指标
根据评测标准中的指标,每台设备的测试结果中会有13项指标参与评分。依照评分标准将指标归类为四类评分项,分别是:
-
启动性能:总启动耗时
-
运行性能:CPU占比、内存峰值、FPS、FPS抖动次数
-
网络性能:wx.downloadFile失败率、wx.request失败率、wx.uploadFile失败率、wx.sendSocketMessage失败率
-
兼容性:黑屏率、JS错误数、启动失败
2.3 机型分类
将云测试中的每台设备根据系统和档型进行分类,得到6类机型:
系统\ 档型 | 高档机 | 中档机 | 低档机 |
---|---|---|---|
iOS | iOS 高档机 | iOS 中档机 | iOS 低档机 |
Android | Android 高档机 | Android 中档机 | Android 低档机 |
2.4 得分规则
每台设备的每个指标得分有四种情况:100分,80分,60分和0分。
每台设备的指标和对应的标准进行对比:
- 指标值达到优秀值,该项指标得100分;
- 指标值达到平台建议值,该项指标得80分;
- 指标值达到达标值,该项指标得60分;
- 否则,得0分。
最终,每台机器会得到13项评分指标的分数。
2.5 具体流程
STEP 1:将每台设备中的测试结果根据评分规则
得到13项评分指标的分数。
STEP 2:对每类机型下的所有设备的得分取平均值,得到该类机型下的13项评分指标的平均值。
STEP 3:对每类机型下的评分指标平均值,按照评分项类别取加权平均值,得到每类机型下的4类评分项得分。
STEP 4:对所有类别机型下的4类评分项得分,按照现网各类别机型占比取加权平均值得到每个评分项的最终得分。
2.6 计算公式
评分项的评分计算公式如下:
其中,表示机型的索引,比如iOS高档机时;
表示小游戏现网环境下机型的占比,且;
表示机型的评分项的得分,其计算公式如下:
其中,表示指标在评分项的衡量指标中的权重,;
分别表示评分项的评价指标的Start Index和End Index;
表示该指标在该类机型下的平均值,其计算公式如下:
其中,表示类机型下的设备数量,表示设备的指标的得分。
机型下 的设备的得分列表为[, ,……,]。
因此,评分项的评分计算公式汇总如下: