产品介绍

开通功能

  • 实验工具处于内测阶段,对此有需求的小程序请填写调查问卷: 点击填写问卷

什么是 A/B 实验

A/B 实验是比较产品功能的多个版本效果的方法。

A/B 实验的基本思想就是:

  • A/B 实验首先会从产品的用户中 随机 划分一部分用户(小流量控制风险),并对划分出的用户 随机 展示某个实验版本(控制单一实验因素),获取各个实验组的用户数据,通过 统计方法 来找到在既定目标下的最优版本(数字量化效果)。

以某个小程序实验文案对比为例:

  • 某个小程序想确定不同文案是否对用户转化率产生影响,产品团队举棋不定,此时可以使用 A/B 实验来进行决策。首先从线上随机选取一小部分流量,创建一个 A/B 实验,其中 A 组用户展示文案 1(订阅消息推送),B 组用户展示文案 2(回满精力告诉我)。实验上线一段时间后,通过计算两个组的用户的转化率,并使用统计学中假设检验的方法(排除随机干扰),从而决定使用哪种文案。

为什么做 A/B 实验

  • 积少成多,科学决策

    • 增长黑客:互联网产品需要数据驱动,实验平台是数据驱动的工具。

    • 积少成多。每天提升 1 %,365 天之后数据效果会达到原来的 37+ 倍。

  • 人会犯错,但数学不会

    • 谷歌和微软都有相似的统计结论:高级产品经理对策略效果正确判断的准确性是 33% 。
  • 数据信任

    • 策略效果提升可能是由于随机波动导致的,需要通过严谨的 A/B 实验才能得出准确的结论。

小程序 A/B 实验优势及适用场景

  • 优势

    • 提供小程序官方通用核心指标,也支持自定义指标,详见指标概述

    • 支持分层实验,提高流量利用率。

    • 自动化生成实验结论,方便决策。

    • 开发门槛低。无需 SDK,基础库( 2.14.4 以上 )支持实验能力。

  • 适用场景

    • 适用于对需要在小程序生态内进行精细化运营的开发者使用,支持小程序前端 UI、算法策略和后台功能需求。