# 产品介绍
# 开通功能
使用实验工具的开发者，需要在小游戏成员管理中具备数据分析权限，已开通微信支付的小程序，操作人员需要同时开通数据分析权限和交易分析权限。管理员可在小游戏后台【成员管理】中修改和设置权限。
实验工具入口：[微信小程序后台] -> [统计] -> [实验工具]。
使用过程如有任何问题，请联系小游戏能力助手（微信号：minigame3）
# 什么是 A/B 实验
A/B 实验是比较产品功能的多个版本效果的方法。
A/B 实验的基本思想就是：
- A/B 实验首先会从产品的用户中 随机 划分一部分用户（小流量控制风险），并对划分出的用户 随机 展示某个实验版本（控制单一实验因素），获取各个实验组的用户数据，通过 统计方法 来找到在既定目标下的最优版本（数字量化效果）。
以某个小程序实验文案对比为例：
- 某个小程序想确定不同文案是否对用户转化率产生影响，产品团队举棋不定，此时可以使用 A/B 实验来进行决策。首先从线上随机选取一小部分流量，创建一个 A/B 实验，其中 A 组用户展示文案 1（订阅消息推送），B 组用户展示文案 2（回满精力告诉我）。实验上线一段时间后，通过计算两个组的用户的转化率，并使用统计学中假设检验的方法（排除随机干扰），从而决定使用哪种文案。
# 为什么做 A/B 实验
积少成多，科学决策
增长黑客：互联网产品需要数据驱动，实验平台是数据驱动的工具。
积少成多。每天提升 1 %，365 天之后数据效果会达到原来的 37+ 倍。
人会犯错，但数学不会
- 谷歌和微软都有相似的统计结论：高级产品经理对策略效果正确判断的准确性是 33% 。
数据信任
- 策略效果提升可能是由于随机波动导致的，不能简单统计样本数据来得到结论，需要通过严谨的 A/B 实验才能得出准确的结论。
# 小程序 A/B 实验优势及适用场景
优势
提供小程序官方通用核心指标，也支持自定义指标，详见指标概述。
支持人群定向和人群分析能力。
支持分层实验，提高流量利用率。
自动化生成实验结论，方便决策。
开发门槛低。无需 SDK，基础库（ 2.14.4 以上 ）支持实验能力。
适用场景
- 适用于对需要在小程序生态内进行精细化运营的开发者使用，支持小程序前端 UI、算法策略和后台功能需求。