# 评测常见问题

## 1、开发者可以用评测工具做什么？

可基于已开发的小程序 AI 模式代码，模拟真实用户对话完成效果评测，自动分析问题、提供优化建议并输出完整评测报告。

## 2、评测工具是否支持开发者自定义评测集？

支持。在参数配置 - 评测文件处上传评测集文件，平台将基于开发者提交的评测文件生成评测用例。

## 3、如何保证评测工具能评测到 AI 模式代码包含的各类业务流程？

建议开发者准备好需要跑评测的微信测试号，该微信测试号需要包含各类业务流程信息（如登录权限、业务数据等），建议提前使用该账号登录微信开发者工具。

## 4、评测工具需要配置开发者自己的模型资源吗？建议使用什么类型的模型？

评测插件内测期间，开发者不需填写模型信息，微信团队承担此部分成本。后续评测插件正式启用后，开发者自测时需要在环境配置阶段输入对应的模型配置信息。建议使用较高智能度、参数量较大的模型来进行评测，模型智能度越高，评测质量会越好。

## 5、如果开发者评测的 SKILL 中包含「下单」「支付」「发票」等接口，会真实操作吗？

会，但「微信支付」等能力最终需用户确认才会真实支付。为避免真实资金损失，建议使用测试号进行测试，关闭免密支付等能力。自测时，可以在参数配置阶段屏蔽这些接口。

## 6、哪些业务场景评测不支持？

在图片（如 P 图）、文件操作类（如文件转化）的场景，如果开发者配置的模型本身不支持对图形、文件类的分析，则无法评估效果，需要开发者自行在真机测试。硬件类业务，部分配网、控制设备场景不支持评测。

## 7、使用评测工具过程中遇到问题怎么办？

自测问题可在 [微信开放社区 - 小程序 AI 能力](https://developers.weixin.qq.com/community/minihome/mixflow/4547794673309990912) 专区提交反馈问题，微信团队会尽快跟进处理。

## 8、如何查看和解读评测工具的报告结果？

评测运行完成后，开发者会获得一个 HTML 格式的报告结果。建议开发者重点关注每一项评测指标的缺陷详情和每条用例轨迹，查看是否存在问题。详见评测指南文档的「三、评测报告及指标说明」。

## 9、支持服务商代商户小程序进行评测吗？

当前评测插件仅支持普通小程序评测，未支持服务商代商户小程序进行评测。相关功能后续会支持。

## 10、评测工具的结果会影响到什么？

自测结果用于开发者自行发现问题和优化缺陷。微信团队评测结果是直接影响开发者服务被微信 AI 调用效果的重要依据。

## 11、我已经开发好了 AI 模式代码，可以向微信提交代码提审评测吗？

暂未开放提审评测（微信团队评测），后续会支持。

## 12、微信团队针对小程序 AI 模式代码提审的评测通过标准是什么？

希望开发者的小程序 AI 模式在服务交付、体验交互、场景覆盖、性能质量得分均有较好的表现。详见评测指南文档的「三、评测报告及指标说明」。

## 13、第三方服务商模式如何评测？

该功能后续开放