# 评测常见问题

# 1、开发者可以用评测工具做什么?

可基于已开发的小程序 AI 模式代码,模拟真实用户对话完成效果评测,自动分析问题、提供优化建议并输出完整评测报告。

# 2、评测工具是否支持开发者自定义评测集?

支持。在参数配置 - 评测文件处上传评测集文件,平台将基于开发者提交的评测文件生成评测用例。

# 3、如何保证评测工具能评测到 AI 模式代码包含的各类业务流程?

建议开发者准备好需要跑评测的微信测试号,该微信测试号需要包含各类业务流程信息(如登录权限、业务数据等),建议提前使用该账号登录微信开发者工具。

# 4、评测工具需要配置开发者自己的模型资源吗?建议使用什么类型的模型?

评测插件内测期间,开发者不需填写模型信息,微信团队承担此部分成本。后续评测插件正式启用后,开发者自测时需要在环境配置阶段输入对应的模型配置信息。建议使用较高智能度、参数量较大的模型来进行评测,模型智能度越高,评测质量会越好。

# 5、如果开发者评测的 SKILL 中包含「下单」「支付」「发票」等接口,会真实操作吗?

会,但「微信支付」等能力最终需用户确认才会真实支付。为避免真实资金损失,建议使用测试号进行测试,关闭免密支付等能力。自测时,可以在参数配置阶段屏蔽这些接口。

# 6、哪些业务场景评测不支持?

在图片(如 P 图)、文件操作类(如文件转化)的场景,如果开发者配置的模型本身不支持对图形、文件类的分析,则无法评估效果,需要开发者自行在真机测试。硬件类业务,部分配网、控制设备场景不支持评测。

# 7、使用评测工具过程中遇到问题怎么办?

自测问题可在 微信开放社区 - 小程序 AI 能力 专区提交反馈问题,微信团队会尽快跟进处理。

# 8、如何查看和解读评测工具的报告结果?

评测运行完成后,开发者会获得一个 HTML 格式的报告结果。建议开发者重点关注每一项评测指标的缺陷详情和每条用例轨迹,查看是否存在问题。详见评测指南文档的「三、评测报告及指标说明」。

# 9、支持服务商代商户小程序进行评测吗?

当前评测插件仅支持普通小程序评测,未支持服务商代商户小程序进行评测。相关功能后续会支持。

# 10、评测工具的结果会影响到什么?

自测结果用于开发者自行发现问题和优化缺陷。微信团队评测结果是直接影响开发者服务被微信 AI 调用效果的重要依据。

# 11、我已经开发好了 AI 模式代码,可以向微信提交代码提审评测吗?

暂未开放提审评测(微信团队评测),后续会支持。

# 12、微信团队针对小程序 AI 模式代码提审的评测通过标准是什么?

希望开发者的小程序 AI 模式在服务交付、体验交互、场景覆盖、性能质量得分均有较好的表现。详见评测指南文档的「三、评测报告及指标说明」。

# 13、第三方服务商模式如何评测?

该功能后续开放