为什么实验有效果，全量上线后没效果？

第一类错误。实验平台使用的是统计学中的假设检验方法。在这种方法框架下，第一类错误是无法避免的。具体的含义是两个组不存在差异的情况下，平台仍旧可能给出两个组有显著差异的结论。这种情况出现的概率是 5%，大概每 20 次出现一次。

指标结果中展示的是样本的提升，上线之后，有一定的概率会出现总体的提升小于样本的提升。建议关注指标结果中置信区间的下界值。