# 实验工具

## 一、开通功能

小程序管理员可前往[We分析官网](https://wedata.weixin.qq.com/mp/login)，点击「开通We分析」开通功能，开通后可前往「实验工具」中使用。

使用实验工具的开发者，需要拥有We分析成员权限。We分析管理员可在【成员管理】中修改和设置权限。

实验工具入口：[We分析平台](https://wedata.weixin.qq.com) → 实验工具 → 实验看板。

## 二、什么是 A/B 实验

A/B 实验是比较产品功能的多个版本效果的方法。

A/B 实验的基本思想就是：A/B 实验首先会从产品的用户中 **随机** 划分一部分用户（小流量控制风险），并对划分出的用户 **随机** 展示某个实验版本（控制单一实验因素），获取各个实验组的用户数据，通过 **统计方法** 来找到在既定目标下的最优版本（数字量化效果）。

> 以某个小程序实验文案对比为例：
>
> ![](https://res.wx.qq.com/op_res/6ny2fA1gT49wbhj_UlpAtbpYT08e-TMHs_fa9Nhs2YXIL9K3heBB5iTt0Znd-7mTq3LKTEK0nnDg1HdnvNGl-Q)
>
> 某个小程序想确定不同文案是否对用户转化率产生影响，产品团队举棋不定，此时可以使用 A/B 实验来进行决策。
>
> 首先从线上随机选取一小部分流量，创建一个 A/B 实验，其中 A 组用户展示文案 1（订阅消息推送），B 组用户展示文案 2（回满精力告诉我）。
>
> 实验上线一段时间后，通过计算两个组的用户的转化率，并使用统计学中假设检验的方法（排除随机干扰），从而决定使用哪种文案。

## 三、为什么做 A/B 实验

![](https://res.wx.qq.com/op_res/WL4AnS7O0RpEJNI6PAI0i1pbBFLqpbVejiFupwGnF9tdQ1vVuh5tbe7tG4iWCaWY-aDu-Pv_iNYuNXZiLkNJQg)

- 积少成多，科学决策
  - 增长黑客：互联网产品需要数据驱动，实验平台是数据驱动的工具。
  - 积少成多。每天提升 1%，365 天之后数据效果会达到原来的 37+ 倍。
- 人会犯错，但数学不会
  - 谷歌和微软都有相似的统计结论：高级产品经理对策略效果正确判断的准确性是 33%。
- 数据信任
  - 策略效果提升可能是由于随机波动导致的，不能简单统计样本数据来得到结论，需要通过严谨的 A/B 实验才能得出准确的结论。

## 四、小程序 A/B 实验优势及适用场景

### 优势

- 提供**小程序官方通用核心指标**，也支持自定义指标，详见【指标管理-指标创建-指标概述】。
- 支持人群定向和人群分析能力。
- 支持分层实验，提高流量利用率。
- 自动化生成实验结论，方便决策。
- 开发门槛低。无需 SDK，基础库（2.14.4 以上）支持实验能力。

### 适用场景

- 适用于对需要在小程序生态内进行精细化运营的开发者使用，支持小程序前端 UI、算法策略和后台功能需求。