当小程序部分服务需要用户先同意协议或登录才能使用时,对于未授权或登录的新用户,开发者当前容易忽视,因此新增此专项评测。
问题举例:
文案回复已经跳到点单页面,点开卡片实际为登录页或隐私授权页
1、评测文件
在评测文件中提供未注册场景用例,并为对应 case 添加 tags: ["unregistered"] 标记,,并根据请求内容再填写 private_data 或 product_service,两者只能选一个。例如:
{
"cases": [
{
"intent": "查一下我的历史订单和会员积分,帮我看看有没有能用的优惠券",
"tags": ["unregistered", "private_data"]
}
]
}
2、未注册用例提供标准和数量
2.1 用例类型
| 意图类型 | 使用门槛 | 评测对象及目的 | 场景举例 |
|---|---|---|---|
| A 类product_service:搜索或推荐商品、服务 | 开发者可能要求用户登录或授权后才能使用 | 适用于全部小程序。分别检查用户同意登录、授权后,流程能否走通并完成用户意图;以及用户拒绝后,Agent 是否返回正确的信息和页面。 | 帮我点一杯冰美式;推荐一款充电宝;查询附近酒店。 |
| B 类private_data:私有数据查询,包括订单、浏览历史、收藏内容、会员权益、个人资产等用户专属隐私数据 | 开发者要求用户必须登录后才能使用 | 适用于 SKILL 涉及私有数据的小程序。分别检查用户同意登录、授权后,能否正常展示个人数据;以及用户拒绝后,Agent 是否返回正确的信息和页面。 | 查看我的历史订单;查询我的全部交易订单;查看浏览历史;查看我的收藏内容;查询我的会员权益;查询个人账户资产;查看我的购票记录;查看我的预约记录。 |
评测文件中每条请求填写一条未注册用例,标注 unregistered 及对应的类型标签。平台为每条用例分别生成同意和拒绝两种执行情形;开发者须分别完成人工核验,保存两种情形的完整轨迹。用例类型与执行情形是两个不同维度:“私有数据类”和“商品或服务类”用于说明测试什么,“同意”和“拒绝”用于说明测试时用户怎样选择。
2.2 用例数量
| 评测文件 case 数量 | 未注册意图数量(包含在总数量中) |
|---|---|
| (0,100] | SKILL 未涉及私有数据的小程序:至少提供 1 条 A 类意图。 SKILL 涉及私有数据的小程序:至少提供 2 条意图,分别为 1 条 A 类意图和 1 条 B 类意图。 |
1)若小程序提供多种授权能力,建议分别提供对应的新用户用例。
2)未注册场景用例最多提供 5 条。
2.3 用例示例
以咖啡小程序为例:
-
搜索或推荐商品、服务:
- 用例 1:帮我点一杯冰美式。
- 用例 2:有什么好喝的推荐一下。
-
私有数据查询:
- 用例 3:帮我查一下我之前点了什么喝的。
- 用例 4:帮我看看我的会员积分有多少。
3、评测工具未注册场景用例说明
对于标记 tags: ["unregistered"] 的用例,平台会生成同意和拒绝两种执行情形。开发者须对两种情形分别进行人工核验,并保存各自的完整轨迹。
点击对应情形的「人工核验」,按工具提示切换到未登录、未授权且没有用户业务数据的测试号。请在该环境下完成实际登录或授权操作(或拒绝操作)、返回对话并保存该情形的完整人工轨迹。开发者须准备未登录、未授权且无订单、会员等既有用户业务数据的测试号。

注:
普通用例:建议准备包含对应业务流程信息的测试号,例如登录权限、订单、会员或其他业务数据,并提前在微信开发者工具中完成必要准备。 未注册用例:如果 case 标记了 tags: ["unregistered"],请使用未登录授权且没有用户数据的账号,并通过人工核验补充该用例轨迹。不要将普通登录态账号的轨迹作为未注册用例的人工轨迹。
4、未注册用例评分说明
预期结果
| 测试项 | 操作说明 | 预期结果(开发者自己的页面) |
|---|---|---|
| 手机号验证 | 新用户请求手机号验证,分别测试取消和选择手机号。 | **Step 1:**AI 文案引导用户进行手机号验证,关联页面为手机号验证页面。 **Step 2:**选择手机号后,用户完成添加手机号并返回 AI 页面,重新发送一轮对话query;取消后返回 AI 页面,重新发送一轮对话query。 **Step 3:**选择手机号后,AI 回复应完成用户需求并关联正确页面;取消后,AI 回复应提示用户添加手机号。 |
| 自定义隐私授权与登录 | 新用户请求需隐私授权和登录的服务,分别测试同意和拒绝。 | **Step 1:**AI 文案引导用户登录,关联页面为登录页面。 **Step 2:**同意后,用户完成登录并返回 AI 页面,发送重新发送一轮对话query;拒绝后返回 AI 页面,重新发送一轮对话query。 **Step 3:**同意后,AI 回复应完成用户需求并关联正确页面;拒绝后,AI 回复应提示用户登录。 |
| 自定义隐私授权 | 新用户请求需开发者自定义隐私授权的服务,分别测试同意和拒绝。 | **Step 1:**AI 文案引导用户授权,关联页面为授权页面。 **Step 2:**同意后,用户完成授权并返回 AI 页面,重新发送一轮对话query;拒绝后返回 AI 页面,重新发送一轮对话query。 **Step 3:**同意后,AI 回复应完成用户需求并关联正确页面;拒绝后,AI 回复应提示用户授权。 |
| 系统权限授权 | 新用户请求地理位置、麦克风、摄像头、蓝牙等系统权限,或触发小程序用户隐私保护提示。 | **Step 1:**AI 文案引导用户授权,关联页面为授权页面。 **Step 2:**同意后,用户完成授权并返回 AI 页面,重新发送一轮对话query;拒绝后返回 AI 页面,重新发送一轮对话query。 **Step 3:**同意后,AI 回复应完成用户需求并关联正确页面;拒绝后,AI 回复应提示用户授权。 |
| 订阅消息 | 新用户请求订阅消息授权,分别测试同意和拒绝。 | **Step 1:**AI 文案引导用户进行订阅消息授权,关联页面为订阅消息授权页面。 **Step 2:**同意后,用户完成授权并返回 AI 页面,重新发送一轮对话query;拒绝后返回 AI 页面,重新发送一轮对话query。 **Step 3:**同意后,AI 回复应完成用户需求并关联正确页面;拒绝后,AI 回复应提示用户授权订阅消息。 |
| 人脸识别 | 新用户请求人脸识别,分别测试同意和拒绝。 | **Step 1:**AI 文案引导用户进行人脸识别,关联页面为人脸识别页面。 **Step 2:**同意后,用户完成授权并返回 AI 页面,重新发送一轮对话query;拒绝后返回 AI 页面,重新发送一轮对话query。 **Step 3:**同意后,AI 回复应完成用户需求并关联正确页面;拒绝后,AI 回复应提示用户授权人脸识别。 |
预期结果示意图: