数据分析师必看，老司机带你认识 AB 常见的10个错误

80% 的阳性测试(灰色)拒绝零假设(统计手段)：

5% 的阴性测试(白色)拒绝零假设(明显性阈值)：

结论：在 80% 的统计手段、5% 的明显性阈值和 20% 的基准率，当检讨被以为是阳性(p 值<0.05)时，我们只有 16/(16+4)=80% 的机遇是真阳性，而不是 95%。

在这种环境下(统计手段=80%，明显性阈值=5%)，知道你的 A/B 测试功效是故意义的，下面是一些概率，你的测试现实上是阳性的，这取决于基准率：

履历 7:(1-p 值)不是检讨为阳性的概率。假如你还想计较这个概率，行使贝叶斯 A/B 测试要领。

测试所调查到的增量允让你可以计较统计明显性，但将调查到的增量视为特性带来的现实增量是错误的，这凡是必要更多的用户或会话。

假如不能证明 B 优于 A ，则选择转达置信区间而不是原始增量。为了声名这一点，我们以 A/B 测试为例：

p 值为 0.014，可接管的明显性程度为 95%，此 A/B 检讨为阳性，这意味着测试组明显好于比较组。可以很轻易地计较出调查到的跳出率相对增量：

但将视察到的增量视为特性带来的现实增量是不正确的。你应该行使尺度偏差计较每组的置信区间：

个中 p 是调查到的组跳出率，n 是池样本巨细，zα 是对应于置信程度 α 的 z 值(在本例中为 95%)。你可以在这里找到凡是置信程度的 z 值。

行使此公式，你最终可以计较两个组的 95% 置信区间(CI)跳出率：

也可以反计较相对增量(pctdiff)的置信区间，但它更伟大。假如必要更多具体信息，请参阅这个观测的第 3.3.2 节。

履历 8：当你的测试为明显阳性时，应该转达置信区间而不是原始增量。

假如你(和你的组织)还没有筹备好用新的版本更新你的产物，除了确认你的成见，启动 A/B 测试是没故意义的。直觉在选择测试内容时至关重要，但它不该与 A/B 测试的功效相抵触。

履历 9：与好处相干者确定测试前的阈值和相干动作。

为了担保你的 A/B 测试功效的靠得住性，你的 A/B 测试体系必需颠末校准并正常事变。确保这种靠得住性的一种要领是一连举办 A/A 测试，并搜查这两种人群之间没有明显差别：

Manomano 的持续 A/A 测试应承我们快速检测 8 月份碰着的缓存错误，因为该错误，8 月 20 日到 8 月 22 日之间举办的全部测试无效。

履历 10：一连举办 A/A 测试，以检测靠得住性。

如你所见，在说明 A/B 测试功效时堕落的风险很是高，而在测试之后所做的决定对你的公司来说至关重要。因此，你应该对给到你的 A/B 测试功效持猜疑立场，出格是当这个功效来自于一个对取得起劲功效有凶猛乐趣的人(譬喻，一个想卖给你对象的人)时尤其云云。在 ManoMano，我们有一个值得相信的委员会，辅佐说明全部内部和外部 A/B 测试的功效，并对结论有着合理的观点。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!