A/B测试显著性
是什么 A/B Test Significance?
▾
A/B 测试显着性是一种统计检查，可告诉您观察到的两个变体之间的差异是否可能反映真实效果，或者很可能是偶然发生的。这很重要，因为产品团队根据测试做出昂贵的决策：重新设计结帐页面、更改价格、重新排序主页或启动新算法。如果结论是错误的，团队可能会提供更糟糕的体验，同时相信它提高了性能。显着性计算器从实验中获取原始数据，例如每个版本的访问者和转化率，并估计针对两个变体执行相同的原假设的证据。用日常用语来说，它有助于回答这个问题：“这个结果是否足够可靠？”这个答案不仅仅取决于电梯的大小。样本量、基线转化率、测试时长、数据质量以及团队是否重复偷看都会影响结论的可靠性。一天后看起来令人印象深刻的结果可能会在一周后消失。相反，如果交通量足够大并且业务风险很高，那么小型电梯也可能有意义。因此，意义只是一个护栏，而不是一个保证。应将其与效果大小、置信区间、样本比率检查和业务背景一起阅读。充分理解重要性的团队会做出更好、更冷静的决策，因为他们不再对嘈杂的仪表板反应过度，而是专注于足够重要的证据。
Calkulon makes complex calculations simple — built for students and everyday problem-solvers.
公式
▾
对于二比例 z 检验，rateA = cA / nA，rateB = cB / nB。合并比例为 p = (cA + cB) / (nA + nB)。标准误差 SE = sqrt[p x (1 - p) x (1/nA + 1/nB)]。检验统计量 z = (rateB -rateA) / SE。工作示例：如果 A = 50/1000 且 B = 70/1000，则rateA = 0.05，rateB = 0.07，p = 0.06，SE 约为 0.0106，z 约为 1.88。变量说明
▾
| 符号 | 名称 | 单位 | 描述 |
|---|---|---|---|
| nA and rateB | 计算为cB | — | 计算公式为cB / nB，是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
| Standard error SE | 计算公式为 sqrt[p | — | 计算公式为 sqrt[p x (1 - p) x (1/nA + 1/nB)] |
| Test statistic z | 已计算 | — | 计算公式为(rateB -rateA) / SE，它是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
| then rateA | 计算为0 | — | 计算为0，是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
| rateB | 计算为0 | — | 计算为0，是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
| A | 累计总金额 | — | 累计金额或年金总额，是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
| x | 输入变量 | — | 输入变量或待求解的未知数，是ab检验显着性计算中的关键参数，直接影响最终的计算结果 |
如何 A/B Test Significance
▾
- 1定义原假设，通常表示变体 A 和变体 B 具有相同的转化率。
- 2输入两种变体的访问者和转化计数，以及您计划使用的重要性阈值。
- 3该计算器会估算转化率的差异以及围绕该差异的标准误差。
- 4计算检验统计量（例如 z 分数），然后转换为 p 值或置信估计。
- 5如果 p 值低于所选的 alpha 水平，则结果通常被描述为具有统计显着性。
- 6解释答案以及提升度、置信区间、实验质量以及测试是否达到计划的样本量。
例题解析
▾
同样的电梯可能令人信服或不令人信服，具体取决于观察到的用户数量。这就是为什么显着性计算器总是需要样本量，而不仅仅是百分比。
小样本会产生很大的不确定性。团队经常会过度解读这些早期结果，因为百分比波动看起来很剧烈。
当噪音足够低时，小型电梯仍然值得信赖。重要的后续问题是，这种收益在商业方面是否有价值。
这是最常见的实验设计错误之一。问题不在于数学本身，而在于团队使用数学的方式。
实际应用
▾
评估产品、营销和定价实验 - 此应用程序通常由需要精确定量分析以支持各自领域的决策、预算和战略规划的专业人士使用
通过假设检验支持发布决策——行业从业者依靠此计算来对性能进行基准测试、比较替代方案并确保符合既定标准和监管要求，帮助分析师生成准确的结果，以支持跨组织的战略规划、资源分配和性能基准测试
教导团队噪音和证据之间的区别。学术研究人员和学生使用这种计算来验证理论模型、完成课程作业并加深对基本数学原理的理解
研究人员使用 ab 检验显着性计算来处理实验数据、验证理论模型并生成定量结果以在同行评审的研究中发表，支持数据驱动的评估过程，其中数值精度对于合规性、报告和优化目标至关重要
特殊情况
▾
如果您运行多个测试或跟踪许多指标而不进行调整，则机会
如果您运行多个测试或跟踪许多指标而不进行调整，则错误发现的可能性就会增加，并且简单的显着性读数变得不太可信。当在 ab 检验显着性计算中遇到这种情况时，用户应验证其输入值是否落在公式的预期范围内，以产生有意义的结果。超出范围的输入可能会导致数学上有效但实际上毫无意义的输出，这些输出不反映现实世界的条件。
顺序、贝叶斯或 CUPED 风格的实验框架可能使用不同的
顺序、贝叶斯或 CUPED 风格的实验框架可能使用不同的计算，不应将其解释为简单的固定范围 z 测试。这种边缘情况经常出现在涉及边界条件或极值的具有 ab 测试意义的专业应用中。从业者应记录这种情况何时发生，并考虑替代计算方法或调整因子是否更适合其特定用例。
负输入值对于 ab 测试显着性可能有效，也可能无效，具体取决于域上下文。
有些公式接受负数（例如温度、变化率），而其他公式则需要严格的正数输入。用户在依赖输出之前应检查其特定场景是否允许负值。从事 ab 测试意义的专业人员应特别注意这种情况，因为如果处理不当，可能会导致误导性结果。当实践中出现这种情况时，请务必验证边界条件并使用独立方法进行交叉检查。
意义术语一览
▾
| 学期 | 典型值 | 这意味着什么 |
|---|---|---|
| 阿尔法 | 0.05 | 选择假阳性耐受性 |
| 置信度 | 95% | 共同报告惯例 |
| 力量 | 80% 或 90% | 有机会检测到计划尺寸的真实效果 |
| 双尾 z 阈值 | 1.96 | 共同截止值 alpha 0.05 |
常见问题
▾
A/B 测试中的统计显着性是什么？
它衡量的是您观察到的数据与两种变体执行相同的想法的不兼容程度。在实践中，它可以帮助团队决定明显的获胜者是否可能不仅仅是随机变化。在实践中，这个概念对于 ab 检验显着性至关重要，因为它决定了输入变量之间的核心关系。了解这一点有助于用户更准确地解释结果并将其应用于特定环境中的现实场景。
我需要多大的样本量？
答案取决于基线转化率、预期提升、所需功率和显着性阈值。更高的流量或更大的预期效果会减少所需的样本量。在实际应用中进行 ab 检验显着性计算时，这是一个重要的考虑因素。答案取决于具体的输入值和应用计算的上下文。为了获得最佳结果，用户应考虑他们的具体要求，并根据已知基准或专业标准验证输出。
p < 0.05 是什么意思？
这意味着，在模型的假设下，如果变体之间确实没有差异，则观察到的结果相对不太可能。这并不意味着获胜者有 95% 的机会确实更好。在实践中，这个概念对于 ab 检验显着性至关重要，因为它决定了输入变量之间的核心关系。了解这一点有助于用户更准确地解释结果并将其应用于特定环境中的现实场景。
95% 的置信度总是正确的标准吗？
不，这很常见，但并不普遍。一些团队对高风险产品的发布使用更严格的阈值，对低风险产品的探索使用更宽松的阈值。在实际应用中进行 ab 检验显着性计算时，这是一个重要的考虑因素。答案取决于具体的输入值和应用计算的上下文。为了获得最佳结果，用户应考虑他们的具体要求，并根据已知基准或专业标准验证输出。
为什么偷看有问题？
反复检查固定范围测试并在图表看起来不错时停止会增加误报。顺序测试方法旨在更安全地管理该风险。这很重要，因为准确的 ab 测试显着性计算直接影响专业和个人环境中的决策。如果没有适当的计算，用户就有可能根据不完整或不正确的定量分析做出决策。行业标准和最佳实践强调精确计算的重要性，以避免代价高昂的错误。
统计显着性是否衡量效应大小？
不会。结果可能很重要，但很小，也可能很大，但噪音太大，令人无法相信。效应大小和置信区间必须单独考虑。在实际应用中进行 ab 检验显着性计算时，这是一个重要的考虑因素。答案取决于具体的输入值和应用计算的上下文。为了获得最佳结果，用户应考虑他们的具体要求，并根据已知基准或专业标准验证输出。
我应该多久重新计算一次重要性？
每当分析新数据时，您都应该更新它，但只能在预先计划的测试框架内进行。关键是要避免机会主义地改变停止规则。该过程涉及将基本公式系统地应用于给定的输入。计算中的每个变量都会影响最终结果，了解它们各自的作用有助于确保准确的应用。该领域的大多数专业人士都遵循分步方法，在得出最终答案之前验证中间结果。
常见错误注意事项
▾
- !当一种变体暂时看起来更好时，过早停止测试。
- !将低 p 值解释为效果大、重要或永久的证据。
- !在输入字段中使用不一致的单位 - 混合公制和英制值而不进行转换会导致错误的 ab 检验显着性结果。
专业提示
在计算之前始终验证您的输入值。对于 ab 检验显着性，小的输入错误可能会加剧并显着影响最终结果。
你知道吗？
一个严格的实验计划通常会从避免误报中获得比寻找华而不实的胜利更多的价值，因为随着时间的推移，糟糕的发布会增加隐性成本。
Regional Guides
▾
🇺🇸 US▾
🇬🇧 UK▾
🇪🇺 EU▾
Ratings & comments
获取每周数学提示
加入 12,000+ 订阅者，每周都会获得计算器提示。