# 评测指南

评测工具是微信面向小程序 AI 开发模式的开发者提供的质量检测工具。开发者完成 SKILL 开发后，可使用评测工具自行发起评测，发现并优化代码缺陷，同时为微信 AI 调用开发者服务提供质量参考。本文档介绍评测工具的核心能力、使用流程以及评测报告的阅读方法。

## 一、评测介绍

### 1.1 评测工具介绍

小程序开发者完成 AI 开发模式代码开发后，平台和开发者需要针对 SKILL 的质量进行评测，帮助开发者发现问题并优化体验，同时给微信 AI 调用开发者的服务提供质量分参考。现面向开发者提供「评测工具」，支持开发者在微信开发者工具中的评测插件中自行发起评测。

> 评测工具当前在内测阶段，已支持开发者自测，向微信团队提交提审评测暂未开放。

**开发者全流程示意图：**

![](https://res8.wxqcloud.qq.com.cn/wxdoc/7ff88909-4bae-4c33-9766-fe6d94bd3b83.png)

- 开发者自测与微信团队评测的能力差异如下：

| 主要差异点 | 开发者自测（已支持，内测中） | 微信团队评测（后续开放小程序 AI 开发模式的代码提审后提供） |
| ---------- | ------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------- |
| 评测目标 | 自主核查小程序 AI 开发模式代码，针对性优化缺陷问题 | 评测结果是直接影响开发者服务被微信 AI 调用效果的重要依据 |
| 环境配置 | 开发者自行配置模型，并承担模型资源成本 | 微信团队承担模型资源，无需开发者配置 |
| 参数配置 | - 可选择 SKILL
- 可选择接口黑名单 | - 不支持自主选择 SKILL，默认全选
- 不支持配置接口黑名单 |
| 评测时机 | 任意时间想要评测时即可发起 | 建议在版本提审前完成，或在提审后尽快发起 |
| 评测版本 | 支持对最新上传的 10 个开发版评测（包含体验版） | 仅支持对最新的体验版进行评测 |
| 评测文件 | 需提交评测集并检测，Intent 数量需 ≥1 个且 ≤100 个，其他检测项不通过可继续评测 | 需提交评测集并检测，Intent 数量需 ≥50 个且 ≤100 个，任一检测不通过都不可继续评测 |
| 生成用例 | - 即时生成，无需排队
- 用例数可开发者自定义（不超过100个/次）
- 支持删除用例，对用例正负反馈并调整顺序 | - 需要排队
- 用例数统一为 50 个/次
- 不支持删除用例，支持对用例正负反馈并调整顺序 |
| 评测耗时 | 根据用例数、模型质量等决定。参考时长：50 个用例耗时 2 小时左右（填写配置 10 分钟 + 生成用例 30 分钟 + 生成轨迹 1 小时 + 生成评测 30 分钟） | 一般需耗时 2 小时/次（生成用例 30 分钟 + 生成轨迹 1 小时 + 生成评测 30 分钟，具体时间根据平台正在进行的任务数量上下浮动） |
| 并发规则 | 一个小程序同一时间可多个评测任务并行，需要使用不同的 PC 端微信开发者工具 | 一个小程序同一时间仅支持一个评测任务 |

**评测工具全流程示意图：**

![](https://res8.wxqcloud.qq.com.cn/wxdoc/5dd4eaf4-07e8-493b-bb20-fae3b2877119.png)

### 1.2 核心价值

1）高效省时：自测支持选择指定的 SKILL 评测，避免长时等待

2）模拟真实对话场景：基于 SKILL，自动模拟用户与微信 AI 的交互过程，还原实际运行环境，发现问题

![](https://res8.wxqcloud.qq.com.cn/wxdoc/22d693f8-d82d-4db7-8eb4-fad5dcc68e92.png)

3）支持人工轨迹核验：可以在自动生成轨迹之后人工核验，对于问题轨迹重新人工对话更新

4）全流程可视化：全部功能集成于开发者工具，对比原先的评测 SKILL，整体操作更流畅

5）问题精准定位：评测完成后自动生成多维度评测报告，清晰呈现问题所在及优化方向，包含：服务交付、体验交互、场景覆盖、性能质量

## 二、评测工具使用指南

### 2.1 打开评测工具

#### 2.1.1 下载微信开发者工具

1）下载安装 [最新版本微信开发者工具](/miniprogram/dev/devtools/log.md#nightly)

2）在「编译模式」入口切换到「小程序 AI 编译」，调试基础库切到 3.16.2 及以上

#### 2.1.2 打开评测插件

1）点击评测插件入口

![](https://res8.wxqcloud.qq.com.cn/wxdoc/0a4e57b6-dcdf-408e-b139-74c64feba626.png)

2）点击评测按钮后将拉起新窗口，此时在新窗口点击「信任并运行」，后续评测将在新窗口进行

![](https://res8.wxqcloud.qq.com.cn/wxdoc/1f70e290-bc02-44b0-b8a8-ef28ee500011.png)

![](https://res8.wxqcloud.qq.com.cn/wxdoc/d4a794ba-c9bd-4fa1-9570-6dbf9ee51927.png)

### 2.2 自测（已支持）

#### 2.2.1 环境配置

1）开启服务端口

2）配置模型（评测插件内测期间，开发者不需填写模型信息，微信团队承担此部分成本）

![](https://res8.wxqcloud.qq.com.cn/wxdoc/cb38023a-ca35-4dee-9c94-1709ca56bef9.png)

#### 2.2.2 参数配置

| 步骤 | 说明 |
| ------------------- | -------------------------------------------------------------------------------------------------------------------- |
| 1）选择评测版本 | 自测将默认拉取最近上传的 10 个版本，仅支持对已上传的版本进行评测。你可选择需要评测的版本，评测结果仅对所选版本有效 |
| 2）选择评测指标 | 自测支持分指标评测 |
| 3）选择评测 SKILL | 后续评测文件检测将基于选择的 SKILL 进行 |
| 4）屏蔽接口 | 勾选的 SKILL 或接口将不参与评测，勾选 SKILL 会连带其下全部接口 |
| 5）添加评测文件 | 添加自定义评测集，你可下载模版，按照模版格式上传评测文件 |
| 6）进行评测文件检测 | 工具将对你所上传的评测文件在格式规范、Intent数量、原子接口覆盖度、用例意图复杂度、用例多样性进行可用性检测，检测通过后可继续后续流程 |
| 7）评测任务名称备注 | 可备注评测任务信息，如评测人昵称或版本号或其他需要备注的信息 |

![](https://res8.wxqcloud.qq.com.cn/wxdoc/d80304ff-cf91-4284-a6d5-3137946d9167.png)

##### 关于「评测文件」的特别说明

评测文件是开发者基于自身开发的 SKILL 提交的自定义 Intent 集，Intent 集需包含简单 Query 和复杂 Query 两种类型。平台会基于评测文件生成评测用例，并在生成用例前对评测文件检测。提交微信团队评测时，评测文件必须通过全部检测项才可继续。

注意：自测建议评测文件先以 20 个用例为起步，而后逐步增加，最多可 3 个微信开发者工具账号同时跑。后续提审评测预计的用例数量要求至少 50 个。

**评测文件检测要求**

| 检测维度 | 检测说明 | 检测范围 |
| :--- | :--- | :--- |
| 1）格式规范 | 校验上传文件的格式是否符合规范（可下载模版查看格式要求）。 | 全部小程序 |
| 2）Intent 数量 | - Intent 数量不能超过 100 个
- 自测时，Intent 数量需 ≥1 个
- 微信评测时，Intent 数量需 ≥50 个 | 全部小程序 |
| 3）原子接口覆盖度 | 评测文件中的意图，覆盖所选评测 SKILL 的原子接口比例 ≥85%。
举例：
Query 1：帮我查下从上海到北京 6 月 20 号的机票
Query 2：帮我查询一下 MU5928 航班
说明：以上两个 Query 覆盖了查询机票和查询航班 2 个接口；开发者一共支持了 10 个接口（下单、支付、查询机票、查询航班、查询舱位等），那么原子接口覆盖度就是 2/10 = 20%。 | 全部小程序 |
| 4）用例复杂度 | 「复杂用例」占全部 Intent 比例 ≥30%（「复杂用例」：模型判定每条用例的覆盖需求指标数 ≥4 个）。
举例：
Query：帮我查下从上海到北京 6 月 20 号的机票。我要往返的，回来大概 6 月 25 号。另外看看这个航班有什么舱位可选，要含税的价格。
指标 1：查机票
指标 2：看看舱位可选
指标 3：上海到北京
指标 4：6 月 20 日出发，6 月 25 日返回
指标 5：往返
指标 6：含税的价格 | 全部小程序 |
| 5）用例多样性 | 要求 80% 的实体出现次数占总实体数量的比例 <5%（实体信息：如同一部电影名、同一个车次、同一种咖啡、同一个咖啡规格、同一个地名等等）。 | 全部小程序 |
| 6）未注册场景 | - Intent 数量需 1～5 条，需要涵盖同意、拒绝两类场景
- 详见本文档「未注册场景」评测说明 | 经平台判定需提供「未注册场景」Intent 的小程序 |
| 7）位置标签 | 至少有 3 条通过「位置标签」校验的有效 Intent，且 3 条 Intent 需覆盖以下三类位置维度：
1）空间副词：如附近、周边、旁边、离我、当前位置、这儿、那里等。示例：附近有啥餐厅推荐、我这旁边有公交站吗
2）具体地理实体：如城市、区、街道、地铁站、POI、地标等。示例：广州天气如何、打车去客村地铁站
3）含起终点关系或空间动作/范围：从 A 到 B、去某地、导航、路线、距离、配送范围、去 X、到 Y、怎么走、飞 Z、服务半径、服务地域范围等。示例：明天飞上海机票价格怎么样、从客村到白云机场 T2 坐什么地铁、这个保险能保我这边的三甲医院吗、看看 xx 餐厅的配送范围
关于如何标注「位置标签」，可查看本文档「位置标签」评测说明。 | 经平台判定需提供「位置标签」Intent 的小程序 |
| 8）时间标签 | 至少有 2 条通过「时间标签」校验的有效 Intent，且相对时间、绝对时间各至少 1 条：
1）相对时间：基准参照、偏移量、模糊时段、节日相关。示例：今天天气怎么样、3 天后天气如何、最近广州有台风吗、国庆节飞上海的航班价格
2）绝对时间：完整日期、星期、时刻、组合。示例：8 月 25 日天气如何、周一天气怎么样、下午 3 点天气、9 月的第一个周末天气
关于如何标注「时间标签」，详见本文档「时间标签」评测说明。 | 经平台判定需提供「时间标签」Intent 的小程序 |
| 9）行业服务完整性 | 餐饮行业：要求「外卖点餐服务」和「外卖到店自提」两类服务必须用 SKILL 和原子接口承载的流程。详见本文档餐饮行业评测文件说明。 | 经平台分析，认为核心功能命中「外卖点餐服务」或「外卖到店自提」的小程序，则针对其进行命中服务的服务完整性评测 |
| 10）负例标签 | 8个 ≤ 负例数量 ≤  10个；两种负例类型需都覆盖：业务状态、输入质量，详见本文档2.3.3.7「负例」评测说明。a.业务状态包括：业务对象不在本小程序域、商品/服务库存不足、查询无结果或历史记录不存在、时间不可用、地点不可用、权限不足；b.输入质量包括：参数缺失/格式错误、输入越界/异常| 全部小程序 |

**如何准备基础评测文件**

1）下载并参考[评测文件官方示例](https://p6ngateway.weixin.qq.com/mmbizwxaskillsvr/static/testcase-example.json)。官方示例中包含了示范用例和对应的业务对象信息：

| 字段 | 是否必填 | 说明 |
| :--- | :--- | :--- |
| `cases` | 必填 | 评测用例列表，用于填写用户真实可能提出的问题或请求。 |
| `cases[].intent` | 必填 | 单条用户请求，应使用自然语言描述用户想完成的目标。 |
| `cases[].tags` | 可选 | 单条用例的测试场景标签，必须是字符串数组；当前支持 `unregistered`、`location`、`relative-time`、`absolute-time`、`negative`。未注册用例还须从 `private_data` 和 `product_service` 中选择一个类型标签。位置、时间和私有数据标签会接受预检校验；不成立的标签按检测结果处理。旧文件中的 `relative-time`、`absolute-time` 仍可识别为 `time`，但建议新文件统一使用 `time`。 |
| `entities` | 可选 | 请求中涉及的商品、订单、地址、设备、会员等业务对象信息。 |
| `entities[].type` | 填写 `entities` 时必填 | 使用一个英文词汇描述实体类别，例如 `drink`、`order`、`address`、`device`。 |
| `entities[].content` | 填写 `entities` 时必填 | 实体的若干个关键属性，例如名称、价格、规格、状态、地址等。 |
| `entities[].source` | 可选 | 实体信息来源，对应 `mcp.json` 中定义的工具名。 |

注：填写未注册场景用例时，unregistered 表示用未登录、无用户数据的测试号核验该用例，并不表示用户的问题不涉及个人数据。请根据用例内容同时选择一个类型标签：查询我的历史订单、积分、已保存地址等既有个人数据，填写 private_data；搜索或推荐公开商品、服务等，填写 product_service。对“退款我的历史订单”这类请求，还应核对操作对象是否为用户既有数据；涉及既有个人订单时，填写 private_data。平台会校验 private_data 标注是否成立；如校验不成立，对应未注册场景标注可能被移除，该用例不再计入未注册场景数量。提交前请查看最终检测结果。

**评测用例编写规范**

1）用真实用户语言填写 `intent`

- `intent` 应写成用户会真实说出的话，例如「帮我看一下满杯百香果有没有小杯或者中杯可选，有的话帮我下一杯冰的正常糖中杯」。
- 不建议写成接口调用说明，例如「调用 `searchDrinks` 接口查询商品，再调用 `selectDrink` 下单」。

2）覆盖主要业务能力

- 可对照当前 SKILL 能力和 `mcp.json` 中的工具，检查主要查询、筛选、对比、下单、修改订单、取消订单、保存地址等能力是否都有对应的自然语言用例。
- 不要只写大量相似句式，例如「买一杯 A」「买一杯 B」「买一杯 C」，也不要只围绕少数查询入口编写。

3）适当加入复杂用例

- 复杂用例不是把多个无关需求拼在一起，而是在同一个用户目标下包含多个相关步骤或条件。例如：先查询商品，再根据价格或规格选择；对比两个商品后选择其中一个；在某个条件满足时下单，不满足时选择替代方案；先确认订单或设备状态，再执行后续操作。

4）避免用例高度重复

- 同一类对象、同一句式或同一具体实体不要反复出现。
- 建议通过不同品类、不同条件、不同状态、不同业务阶段提升多样性，避免只是替换商品、设备、地点、数字来堆数量。

5）合理填写 `entities`

- `entities` 用于补充和本次请求相关的业务对象，例如商品名称、价格、规格、订单状态、收货地址等。同时用于了解评测文件的实体应该调用哪个原子接口，可以提升评测效率。
- `entities` 不是标准答案，也不是完整数据库。只需填写和当前用例理解相关的关键信息，并确保与 `intent` 能对应上。

6）`source` 填写工具名

- 如果填写 `source`，应填写 `mcp.json` 中定义的工具名，例如 `searchDrinks`、`selectDrink`。
- 不要填写接口说明、HTTP 地址或调用步骤。

上传前建议确认：

- 每条 `case` 都有清晰的 `intent`。
- 包含一定比例的多条件、多步骤、查询后操作或状态判断类用例。
- `entities` 与 `intent` 能对应上。
- `source` 中的工具名与 `mcp.json` 保持一致。

2）生成你的评测文件。对照 1）的说明及模板，可人工或用模型生成评测文件。

3）对评测文件检测。上传评测文件后，平台会对评测文件检测，检测结果会在下方展示。自测时，评测文件检测不通过不影响继续评测；提交微信团队评测时，评测文件检测必须全部检测通过才可继续。

![](https://res8.wxqcloud.qq.com.cn/wxdoc/e9948185-a55b-4ff9-8748-e56848b640aa.png)

**「未注册场景」评测说明**

当小程序部分服务需要用户先同意协议或登录才能使用时，对于未授权或登录的新用户，开发者当前容易忽视，因此新增此专项评测。

问题举例：
文案回复已经跳到点单页面，点开卡片实际为登录页或隐私授权页

![](https://res8.wxqcloud.qq.com.cn/wxdoc/93948eee-e0e7-4af1-95b6-a9a7feb6fd17.png)

![](https://res8.wxqcloud.qq.com.cn/wxdoc/9de61203-7ada-4feb-9328-89aed660aacf.png)

1）评测文件：提供未注册场景用例，在评测文件中增加 `tags` 标记：

```json
{
  "cases": [
    {
      "intent": "查一下我的历史订单和会员积分，帮我看看有没有能用的优惠券",
      "tags": ["unregistered", "private_data"]
    }
  ]
}

```

2）未注册用例提供标准和数量

a. 未注册用例包含两种类型：

| 意图类型 | 使用门槛 | 评测对象及目的 | 场景举例 |
| :--- | :--- | :--- | :--- |
| A 类（product_service）：搜索或推荐商品或服务意图。如：帮我点一杯冰美式 | 开发者可能会要求登录、授权才可用 | 【针对全部小程序评测】
同意登录授权：登录与授权流程能否走通并可以完成用户意图
拒绝登录授权：Agent 是否返回了正确的信息及页面 | 帮我点一杯冰美式
推荐一款充电宝
查询附近酒店 |
| B 类（private_data）：私有数据查询意图，包括查询订单、浏览历史、收藏内容、会员权益、个人资产等用户专属隐私数据类问题。如：查看一下我的历史打车订单 | 开发者要求必须登录才可用 | 【针对 SKILL 涉及私有数据的小程序】
1、同意登录授权：能否走通登录授权并正常展示个人数据
2、拒绝登录授权：Agent 是否返回了正确的信息及页面 | 查看我的历史订单
查询我的全部交易订单
查看浏览历史
查看我的收藏内容
查询我的会员权益
查询个人账户资产
查看我的购票记录
查看我的预约记录 |

注：评测文件中每条请求填写一条未注册用例，标注 unregistered 及对应的类型标签。平台为每条用例分别生成同意和拒绝两种执行情形；开发者须分别完成人工核验，保存两种情形的完整轨迹。用例类型与执行情形是两个不同维度：“私有数据类”和“商品或服务类”用于说明测试什么，“同意”和“拒绝”用于说明测试时用户怎样选择。

b. 用例数量

| 评测文件 `case` 数量 | 未注册意图数量（包含在原有数量中） |
| :--- | :--- |
| （0,100] | SKILL 未涉及私有数据的小程序：开发者至少提供 1 条（A 类意图）
SKILL 涉及私有数据的小程序：开发者至少提供 2 条（1 条 A 类意图，1 条 B 类意图） |

注：

1. 如果开发者提供了多种授权能力，建议提供多条新用户用例。
2. 用例上限 5 个。

c. 用例举例：以咖啡小程序为例，搜索或推荐商品或服务意图的用例为「帮我点一杯冰美式」「有什么好喝的推荐一下」；私有数据查询意图的用例为「帮我查一下我之前点了什么喝的」「帮我看看我的会员积分有多少」。

3）评测工具未注册场景用例说明

- 对于标记了 unregistered 且带有类型标签的用例，平台会生成同意和拒绝两种执行情形。开发者须对两种情形分别进行人工核验，并保存各自的完整轨迹。

- 点击对应情形的「人工核验」，按工具提示切换到未登录、未授权且没有用户业务数据的测试号。请在该环境下完成实际登录或授权操作（或拒绝操作）、返回对话并保存该情形的完整人工轨迹。开发者须准备未登录、未授权且无订单、会员等既有用户业务数据的测试号。


![](https://res8.wxqcloud.qq.com.cn/wxdoc/99716010-b5ae-4456-bed4-064e5f566f3f.png)

![](https://res8.wxqcloud.qq.com.cn/wxdoc/ee14f550-d91c-47da-b675-a73657d9e76f.png)

注：

- 普通用例：建议准备包含对应业务流程信息的测试号，例如登录权限、订单、会员或其他业务数据，并提前在微信开发者工具中完成必要准备。
- 未注册用例：如果 `case` 标记了 `tags: ["unregistered"]`，请使用未登录授权且没有用户数据的账号，并通过人工核验补充该用例轨迹。不要将普通登录态账号的轨迹作为未注册用例的人工轨迹。

4）未注册用例评分说明

预期结果如下：

| 测试项 | 操作说明 | 预期结果（开发者自己的页面） |
| :--- | :--- | :--- |
| 手机号验证 | 新用户请求手机号验证，分别测试取消、选择手机号 | Step1：外部文案引导用户手机号验证，关联页面为手机号验证页面
Step2：选择手机号时，用户完成添加手机号，返回 AI 页面，重新发送一轮对话query；取消时不添加手机号，返回 AI 页面，重新发送一轮对话query
Step3：选择手机号时，AI 回复文案完成用户需求且关联页面正确；取消时，回复文案要求用户添加手机号 |
| 自定义-隐私授权+登录 | 新用户请求隐私授权+登录，分别测试同意、拒绝 | Step1：外部文案引导用户进行登录，关联页面为登录页面
Step2：同意时，用户完成登录，返回 AI 页面，重新发送一轮对话query；拒绝时，返回 AI 页面，重新发送一轮对话query
Step3：同意时，AI 回复文案完成用户需求且关联页面正确；拒绝时，回复文案要求用户登录 |
| 自定义-仅隐私授权 | 新用户请求开发者自定义隐私授权，分别测试同意、拒绝 | Step1：外部文案引导用户进行授权，关联页面为授权页面
Step2：同意时，用户完成授权，返回 AI 页面，重新发送一轮对话query；拒绝时，返回 AI 页面，重新发送一轮对话query
Step3：同意时，AI 回复文案完成用户需求且关联页面正确；拒绝时，回复文案要求用户授权 |
| 官方授权 | 新用户请求地理位置、麦克风、摄像头、蓝牙等系统能力，或触发小程序用户隐私保护提示 |Step1：外部文案引导用户进行授权，关联页面为授权页面
Step2：同意时，用户完成授权，返回 AI 页面，重新发送一轮对话query；拒绝时，返回 AI 页面，重新发送一轮对话query
Step3：同意时，AI 回复文案完成用户需求且关联页面正确；拒绝时，回复文案要求用户授权 |
| 订阅消息 | 新用户请求订阅消息授权，分别测试同意、拒绝 | Step1：外部文案引导用户进行订阅消息授权，关联页面为订阅消息授权页面
Step2：同意时，用户完成授权，返回 AI 页面，重新发送一轮对话query；拒绝时，返回 AI 页面，重新发送一轮对话query
Step3：同意时，AI 回复文案完成用户需求且关联页面正确；拒绝时，回复文案要求用户授权订阅消息 |
| 人脸识别 | 新用户请求人脸识别，分别测试同意、拒绝 | Step1：外部文案引导用户进行人脸识别，关联页面为人脸识别页面
Step2：同意时，用户完成授权，返回 AI 页面，重新发送一轮对话query；拒绝时，返回 AI 页面，重新发送一轮对话query
Step3：同意时，AI 回复文案完成用户需求且关联页面正确；拒绝时，回复文案要求用户授权人脸 |

![](https://res8.wxqcloud.qq.com.cn/wxdoc/069e30a6-2f68-41a0-b904-15cc6ce28e7a.png)

**「位置标签」评测说明**

为提升小微用户的本地服务体验，开发者提交的评测文件中需包含含有「位置标签」的 Intent。

1）评测文件要求

至少 3 条通过「位置标签」校验的有效 Intent，且这些有效 Intent 需合计覆盖以下三类位置维度：

- 空间副词：如附近、周边、旁边、离我、当前位置、这儿、那里等。示例：附近有啥餐厅推荐、我这旁边有公交站吗
- 具体地理实体：如城市、区、街道、地铁站、POI、地标等。示例：广州天气如何、打车去客村地铁站
- 含起终点关系或空间动作/范围：从 A 到 B、去某地、导航、路线、距离、配送范围、去 X、到 Y、怎么走、飞 Z、服务半径、服务地域范围等。示例：明天飞上海机票价格怎么样、从客村到白云机场 T2 坐什么地铁、这个保险能保我这边的三甲医院吗、看看 xx 餐厅的配送范围

2）如何提交「位置标签」评测文件

在相关 `case` 的 `tags` 中填写 `location`：

```json
{
  "cases": [
    {
      "intent": "附近有哪些门店可以自提？",
      "tags": ["location"]
    },
    {
      "intent": "广州天河区的门店有生椰拿铁吗？",
      "tags": ["location"]
    },
    {
      "intent": "从广州南站到最近的门店怎么走？",
      "tags": ["location"]
    }
  ]
}
```

请只标注确实需要位置参与查询、筛选或履约的自然语言用例。仅提到地名、但答案固定且不随用户位置变化的知识问答，不建议标注 `location`，例如「上海有哪些景点」。平台会校验 `location` 标注是否与 Intent 的位置语义或服务行为相符；校验不成立的标签会被移除，该 Intent 不计入「位置标签」预检的数量和覆盖贡献度。

3）评测对象

经平台判定需提供「位置标签」Intent 的小程序（最近一段时间小程序有调用过 `getLocation` 接口且 SKILL 最新描述有涉及地理位置相关的服务）。

4）评分说明

命中「位置标签」的用例不通过时，和其他用例保持同等权重的计分逻辑。

**「时间标签」评测说明**

为提升小微用户的服务体验，开发者提交的评测文件中需包含有「时间标签」的 Intent。

1）评测文件要求

至少 2 条通过「时间标签」校验的有效 Intent，且这些有效 Intent 需合计覆盖以下两类维度：

| 分类 | 时间表达信息及举例 | query 示例 |
| :--- | :--- | :--- |
| 相对时间 | 基准参照：刚刚、现在、今天、明天、后天、大后天、昨天、前天、大前天等 | 今天天气怎么样、现在叫车多少钱、明天会下雨吗、后天适合出门吗、昨天的最高气温是多少、前天我是不是去过这家店消费 |
| 相对时间 | 偏移量：3 天后、下周、下个月、周末等 | 3 天后天气如何、一周后广州天气、下周天气怎么样、这个周末去哪玩 |
| 相对时间 | 模糊时段：最近、近期、过几天等 | 最近广州有台风吗、近期有什么演唱会、过几天想去上海旅行 |
| 相对时间 | 节日相关：不指定年或月或日的国庆节、春节、周末、工作日等 | 国庆节飞上海的航班价格、春节买去武汉的高铁票、看看这周末的电影场次、工作日这家餐厅有没有优惠 |
| 绝对时间 | 完整日期：8 月 25 日、2026 年 8 月 25 日、8/25 等 | 8 月 25 日天气如何、2026 年 8 月 25 日天气、8/25 会下雨吗、12 月 25 日适合出行吗 |
| 绝对时间 | 星期：周一、下周三等 | 周一天气怎么样、下周三下午有雨吗、上周五我买的汉堡是哪个 |
| 绝对时间 | 时刻：下午 3 点、14:00 等 | 下午 3 点天气、14:00 左右电影场次有吗、明天早上 9 点高铁票有吗 |
| 绝对时间 | 组合：相对时间和绝对时间叠加时，会判定为绝对时间 | 8 月 25 日下午 3 点的大巴票、2026 年国庆节去泰国的航班、9 月的第一个周末天气 |

2）如何提交「时间标签」评测文件

在评测文件对应 `case` 的 `tags` 数组中填写时间标签：

- 相对时间填写 `relative-time`
- 绝对时间填写 `absolute-time`

```json
{
  "cases": [
    {
      "intent": "帮我看一下最近三天的订单，把最常点的那杯再下一单",
      "tags": ["relative-time"]
    },
    {
      "intent": "查一下9月8日下午3点的订单，帮我复购同样的饮品",
      "tags": ["absolute-time"]
    }
  ]
}
```

3）评测对象

经平台判定需提供「时间标签」Intent 的小程序（小程序有涉及时间相关的功能或 SKILL 最新描述有涉及时间的服务）。

4）评分说明

命中「时间标签」的用例不通过时，和其他用例保持同等权重的计分逻辑。

**餐饮行业评测文件说明**

为提升小微用户体验，平台指定了「外卖点餐服务」和「外卖到店自提」两类服务必须用 SKILL 和原子接口承载的流程，开发者须知：

1）提交微信评测时，「评测文件」中 Intent 需要覆盖到所有指定流程，且用例需要标注是自提或外卖，否则将不能继续评测。

**外卖配送点餐**

| 是否需要用 SKILL 和原子接口承接 | 核心环节 | 必要流程 |
| :--- | :--- | :--- |
| 需用 SKILL 和原子接口承接 | 确认收货地址信息 | 根据当前位置、指定位置匹配已有收货地址；选择指定收货地址；编辑修改收货地址；新增收货地址 |
| 需用 SKILL 和原子接口承接 | 搜索、浏览店铺 | 根据条件筛选店铺；根据当前位置推荐附近的店铺；根据收货地址推荐店铺；搜索、浏览店铺详情；查询店铺距离；查询店铺配送范围；查询店铺营业状态 |
| 需用 SKILL 和原子接口承接 | 搜索、浏览商品 | 根据条件筛选商品；根据当前位置推荐附近可配送商品；根据收货地址推荐附近可配送商品；搜索、浏览商品详情 |
| 需用 SKILL 和原子接口承接 | 筛选、配置商品参数 | 筛选或选中相应规格、口味、做法等商品参数 |
| 需用 SKILL 和原子接口承接 | 增加、删减购物车的商品 | 将商品加入购物车；删减购物车的商品 |
| 需用 SKILL 和原子接口承接 | 查询购物车 | 查询购物车已下单的商品；统计购物车已下单商品的金额和数量 |
| 需用 SKILL 和原子接口承接 | 确认并提交订单 | 核对下单金额、商品内容；填写配送备注；提交订单；取消未付款的订单 |
| 需用 SKILL 和原子接口承接 | 查询外卖订单详情 | 查询外卖订单详情（订单编号、商品信息、店铺信息、配送进度等） |
| 不需用 SKILL 和原子接口承接 | 在收银台完成支付 | 用户进入小程序，拉起收银台手动完成支付 |

**到店自提点餐**

| 是否需要用 SKILL 和原子接口承接 | 核心环节 | 必要流程（需提供相关 SKILL 和接口） |
| :--- | :--- | :--- |
| 需用 SKILL 和原子接口承接 | 搜索、浏览店铺 | 根据当前位置推荐附近店铺；根据指定位置推荐店铺；根据条件筛选店铺；搜索、切换指定店铺；提供指定店铺的距离；提供指定店铺营业状态 |
| 需用 SKILL 和原子接口承接 | 搜索、浏览商品 | 根据条件筛选商品；根据当前位置推荐附近可自提商品；根据指定位置推荐附近可自提商品；搜索、浏览商品详情 |
| 需用 SKILL 和原子接口承接 | 筛选、配置商品参数 | 筛选或选中相应规格、口味、做法等商品参数 |
| 需用 SKILL 和原子接口承接 | 增加、删减购物车的商品 | 将商品加入购物车；删减购物车的商品 |
| 需用 SKILL 和原子接口承接 | 查询购物车 | 查询购物车已下单的商品；统计购物车已下单商品的金额和数量 |
| 需用 SKILL 和原子接口承接 | 确认并提交订单 | 核对下单金额、商品内容；填写配送备注；提交订单；取消未付款的订单 |
| 需用 SKILL 和原子接口承接 | 查看自提订单详情 | 查询自提订单详情（订单编号、商品信息、店铺信息、自提进度等） |
| 不需用 SKILL 和原子接口承接 | 在收银台完成支付 | 用户进入小程序，拉起收银台手动完成支付 |

2）评测运行轨迹时，如开发者的 SKILL 未提供对应流程，Agent 无法完成任务，则「服务交付」分对应扣分，最终分数会影响综合评分。

3）评测对象：经平台分析，认为小程序核心功能命中「外卖点餐服务」或「外卖到店自提」，则针对对应小程序进行该项服务的服务完整性评测。

**「负例标签」评测文件说明**

为提升小微用户体验，平台指定需进行负例评测，开发者须知：

**（1）评测文件要求**

开发者针对负例需要单独打标，并在微信评测时，需要通过评测文件预检才能继续。

- 数量要求：8个 ≤ 负例数量 ≤  10个
- 负例主要包含的类型和预期结果如下：

注：负例允许不调用工具下发卡片

```json
[
  {
    "一级维度": "业务状态",
    "二级类型": "业务对象不在本小程序域",
    "释义": "功能属于小程序范围，但具体的商品/对象不属于本品牌或本店，换成本品牌商品即变正例",
    "意图示例（真实query）": "\\"帮我点一份黄皮果汁\\"（用户在Westore小程序提问，但黄皮果汁是爱马哥产品）",
    "期望结果（文字）": "识别非本品牌商品，告知未提供+推荐同类本品牌商品，不下单、不编造（如\\"黄皮果汁是爱马哥的产品，本店没有。要不要试试生椰拿铁？\\"）",
    "预期结果（页面）": "可小程序首页"
  },
  {
    "一级维度": "商品/服务库存不足",
    "二级类型": "用户请求的商品或服务存在但当前不可用（售罄/下架/满员等）",
    "释义": "\\"帮我拿两盒鲜牛奶，就放购物车里\\"（胖东来小程序，该商品当前售罄）",
    "意图示例（真实query）": "告知缺货+推荐替代（如\\"鲜牛奶暂时售罄，推荐您看看XX鲜奶\\"）",
    "期望结果（文字）": "能指引到用户问的商品/ /服务搜索结果页（结果可能售完或不存在）",
    "预期结果（页面）": ""
  },
  {
    "一级维度": "查询无结果或历史记录不存在",
    "二级类型": "用户查询自己的业务对象，系统查无数据。含两种：①带精确条件查无结果；②模糊指代查无结果",
    "释义": "①\\"帮我查一下订单号 DD20250825 的物流\\"（实际无此单）②\\"帮我把上次买的那杯生椰拿铁再下一杯\\"（实际无购买记录）",
    "意图示例（真实query）": "返回\\"未查询到\\"+不编造订单/商品；有订单则列出已有订单，无订单则引导下单",
    "期望结果（文字）": "",
    "预期结果（页面）": ""
  },
  {
    "一级维度": "时间不可用",
    "二级类型": "用户请求的时间点不在服务范围内（非营业时间/节假日不配送/已过截止等）",
    "释义": "\\"帮我预约明天早上7点送到\\"（该门店8点才开始营业）",
    "意图示例（真实query）": "告知时间限制+建议替代时间（如\\"本店最早配送时间为8:00，为您调整到8:00可以吗？\\"）",
    "期望结果（文字）": "可小程序首页",
    "预期结果（页面）": ""
  },
  {
    "一级维度": "地点不可用",
    "二级类型": "用户定位/地址超出服务范围（超出配送半径/无该城市门店等）",
    "释义": "\\"送到坪山区坪山大道XX小区\\"（超出该门店配送范围）",
    "意图示例（真实query）": "告知地点限制+建议附近门店（如\\"超出配送范围，最近的可用门店是XX店，要切换吗？\\"）",
    "期望结果（文字）": "可小程序首页",
    "预期结果（页面）": ""
  },
  {
    "一级维度": "权限不足",
    "二级类型": "用户未满足使用前置条件（未满足xx身份等）",
    "释义": "\\"帮我查下孩子的作业\\"（家长A问的，但家长B才有作业权限）",
    "意图示例（真实query）": "说明限制（如\\"请先登录xx身份才进行相关服务\\"）",
    "期望结果（文字）": "身份登录页（此条对应未注册用例）",
    "预期结果（页面）": ""
  },
  {
    "一级维度": "输入质量",
    "二级类型": "参数缺失/格式错误",
    "释义": "用户提供的必填参数缺失、格式非法或语义不完整，系统无法执行",
    "意图示例（真实query）": "“帮我下单一杯。”（未指定饮品）",
    "期望结果（文字）": "说明问题并进行追问（如“你具体想喝什么，请告诉我。”）",
    "预期结果（页面）": "可小程序首页"
  },
  {
    "一级维度": "输入越界/异常",
    "二级类型": "用户输入的数值/文本超出合理范围（超长/负数/超大值/特殊字符等）",
    "释义": "\\"帮我下单10000份香辣鸡翅\\"（远超单笔上限）",
    "意图示例（真实query）": "拒绝并提示合理范围（如\\"单次最多下单50份，请修改数量\\"）",
    "期望结果（文字）": "可小程序首页",
    "预期结果（页面）": ""
  }
]
```

**（2）如何提交「负例标签」评测文件**

在评测文件对应 case 的 tags 数组中填写负例标签"negative"：

```json
{
  "cases": [
    {
      "intent": "帮我点2.5杯生椰拿铁",
      "tags": ["negative"]
    },
    {
      "intent": "帮我点一份香辣鸡翅",
      "tags": ["negative"]
    }
  ]
}

```

**（3）评测对象**

全部小程序

**（4）评分说明**

评测运行轨迹时，若未按预期结果呈现或者标注的负例不是真正有效的负例时，命中「负例标签」的用例不通过，和其他用例保持同等权重的计分逻辑

#### 2.2.3 生成用例

1）支持查看、排序、删除、反馈用例

请你仔细检查每个用例，将需要登录、退登等操作的用例放到最后，避免因测试号登录等问题对轨迹生成造成影响。

![](https://res8.wxqcloud.qq.com.cn/wxdoc/7d304571-9f19-4ba5-83ca-c6063f7a6294.png)

#### 2.2.4 生成轨迹

1）评测工具会先根据用例自动生成一轮轨迹，自动生成轨迹结束后，有两种情况需要开发者人工核验替换自动轨迹：

- 因评测环境或工具原因导致用例轨迹出现异常，平台会对该轨迹进行标记并提示开发者
- 开发者自行查看轨迹，认为自动化轨迹不符合预期

2）人工核验步骤：

![](https://res8.wxqcloud.qq.com.cn/wxdoc/0ec12e05-868e-4f3a-a81e-24aeb7164780.png)

![](https://res8.wxqcloud.qq.com.cn/wxdoc/14860812-30c3-4474-a7bf-47a4ac8c2684.png)

#### 2.2.5 执行评测 & 查看报告

可预览、下载评测报告，根据报告建议，进行优化后重新评测

#### 2.2.6 更新功能
自测已支持重跑失败用例。点击历史评测按钮，拉起历史页面，选择对应报告重新评测，重跑失败用例
![](https://res8.wxqcloud.qq.com.cn/wxdoc/c9b3baae-aa92-498a-a030-37e4194ff6a5.png)

生成用例与轨迹阶段支持切换测试号与地理位置
![](https://res8.wxqcloud.qq.com.cn/wxdoc/57910d7d-21bc-4fbe-bd47-6953c4f5c7ee.png)

### 2.3 微信团队评测（开放小程序 AI 开发模式的代码提审后提供）
该功能后续开放

![](https://res8.wxqcloud.qq.com.cn/wxdoc/56617deb-b17d-4cf1-bccd-71d2c41ccc76.svg)文档变更日志（1条）
2026 年 10 月 14 日未注册场景 用例新增  `private_data` 、 `product_service`  类型标签；新增对未注册场景用例的轨迹执行评测打分