为什么不能每天查看实验结论，有显著提升就上线？

会放大第一类错误。正确的实验方法是：实验前需要确定好实验时间，只依据实验结束时间时的结论做决策。

此时，实验平台能够保证第一类错误率控制在 5%。如果实验者每天查看实验结论，有显著就停止实验并作出有差异的决策，那么会放大第一类错误。

举个例子，在两个组完全无差异的场景下，用户连续观察 7 天，一旦出现显著差异，就上线，那么做 100 次这样的实验，会有超过 30% 的实验出现第一类错误（准确的第一类错误为：1 - ( 1 - 0.05 )^ 7）。