A/B测试中的常用公式与工具

一、常用工具

1.1 实验前工具

用于实验前计算所需最小样本量的小工具：G*Power。

[候补其他语言代码]

1.2 实验后工具

用于实验后计算显著性、置信区间、效应量、MDE 的 Excel 文件：AB实验小工具_实验后工具_v1.4.xlsx

[候补其他程序语言的计算代码]

二、符号说明与相关统计知识

2.1 符号说明

2.1.1 统计学中的常用符号

在统计学中，一般使用大写英文字母表示随机变量，使用小写英文字母表示对总体参数估计的样本统计量，使用小写希腊字母表示总体参数：

表 - 统计学中总体与样本的常用符号

2.1.2 A/B实验中的常用符号

两独立总体均值（或比率）之差的显著性假设检验，通常是将两总体均值（或比率）相等作为原假设：

• 原假设 $H_0$：$|\mu_t-\mu_c|=0$
• 备择假设 $H_1$：$|\mu_t-\mu_c|\ne 0$​

公式中的下脚标 t 为 treat 的首字母，$\mu_t$ 指实验组的总体均值，c 为 control 的首字母，$\mu_c$​​ 指对照组的总体增值。

表 - 假设检验中的两类错误

表 - 假设检验中的两类错误所用符号及解读

表 - A/B 实验中常用的符号

2.2 统计量

【定义】统计量是样本的函数，并且要求函数中不含任何未知参数。例如，$\overline{x}$，$s$，$\min\{x_i\}，$$\max{x_i}$ 都是统计量，而 $\overline{x}/\sigma$ 是否是统计量则取决于 $\sigma$​​ 是否已知。

【作用】通过样本估计总体参数。

【优劣】衡量一个点估计统计量的好坏主要有以下两个方面：

1. 无偏性：统计量的期望等于所要估计的总体参数。例如，$\dfrac{1}{n-1}\sum_\limits{i=1}^n(x_i-\overline{x})^2$ 是 $\sigma^2$ 的无偏估计，但 $\dfrac{1}{n}\sum_\limits{i=1}^n(x_i-\overline{x})^2$ 不是。
2. 有效性：统计量的方差越小越有效。例如当样本独立且样本量大于1时，$x_1$ 和 $\overline{x}$ 都是 $\mu$ 的无偏估计，但 $\mathrm{Var}(x_1)=\sigma^2>\mathrm{Var}(\overline{x})=\sigma^2/n$，所以后者更有效。

【UMVUE】一致最小方差无偏估计：一个参数的无偏估计有无穷多个，其中方差最小的那个就是 UMVUE。

2.3 中心极限定理

2.3.1 独立同分布下的中心极限定理

林德伯格-莱维（Lindeberg-Lévy）中心极限定理：设 $\{X_n\}$ 是独立同分布的随机变量序列，且 $\mathrm{E}(X_i)=\mu$，$\mathrm{Var}(X_i)=\sigma$ 存在，记

$$ Y_n=\dfrac{X_1+X_2+\cdots+X_n-n\mu}{\sigma\sqrt{n}}=\dfrac{\overline{x}-\mu}{\sqrt{\sigma^2/n}}. $$

则对任意实数 $y$，有

$$ \lim_{n\rightarrow\infty}\mathrm{P}(Y_n\leqslant y)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. $$

从形式上，可记为：

$$ \dfrac{\overline{x}-\mu}{\sqrt{\sigma^2/n}}=\dfrac{\overline{x}-\mu}{\sigma_{\overline{x}}}={\color{blue}\dfrac{样本均值-总体均值}{标准误}\sim \text{标准正态分布} N(0,1)} $$

标准误是指统计量的标准差，例如样本均值 $\overline{x}$ 的标准误为：

$$ \sigma_{\overline{x}}=\sqrt{\mathrm{Var}(\overline{x})}=\sqrt{\dfrac{\sum_\limits{i=1}^n \mathrm{Var}(x_i)}{n^2}}=\sqrt{\dfrac{n\sigma^2}{n^2}}=\dfrac{\sigma}{\sqrt{n}} $$

可见，当总体方差存在时，样本量越大，样本均值的标准误就越小。

2.3.2 独立不同分布下的中心极限定理

更一般的，不要求同分布，只要在和的各项中没有起到突出作用的项，或者说，各项在概率意义下“均匀地小”，那么标准化后的随机变量之和就服从正态分布。

设 $n$ 个相互独立的随机变量 $X_i$（并不要求它们同分布），它们期望 $\mu_i$ 和方差 $\sigma_i$ 存在且有限，设它们的和为 $Y_n=\sum_\limits{i=1}^n X_i$，则有：

$$ \mathrm{E}(Y_n)=\mu_1+\mu_2+\cdots+\mu_n $$

$$ \mathrm{Var}(Y_n)=\sigma_1^2+\sigma_2^2+\cdots+\sigma_n^2 $$

记 $B_n=\sqrt{\mathrm{Var}(Y_n)}=\sqrt{\sigma_1^2+\sigma_2^2+\cdots+\sigma_n^2}$，则 $Y_n$ 的标准化为：

$$ Y_n^*=\dfrac{Y_n-\mathrm{E}(Y_n)}{B_n}=\sum_\limits{i=1}^n\dfrac{(X_i-\mu_i)}{B_n} $$

林德伯格条件：如果对 $\forall \tau>0$ 都有 $\lim_\limits{n\rightarrow \infty}\mathrm{P}(\max_\limits{1\leqslant i\leqslant n}|X_i-\mu_i|>\tau B_n)=0$。林德伯格条件保证了 $Y_n^*$ 中的各项 $(X_i-\mu_i)/B_n$ “均匀地小”。

林德伯格中心极限定理：设独立随机变量序列 $\{X_n\}$ 满足林德伯格条件，则对任意实数 $y$，有

$$ \lim_\limits{n\rightarrow \infty}\mathrm{P}\left(Y_n^*\leqslant y\right)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. $$

李雅普诺夫中心极限定理：设独立随机变量序列 $\{X_n\}$，若存在 $\delta>0$，满足

$$ \lim_\limits{n\rightarrow\infty}\dfrac{1}{B_n^{2+\delta}}\sum_\limits{i=1}^n\mathrm{E}(|X_i-\mu_i|^{2+\delta})=0 $$

则对任意实数 $y$，有

$$ \lim_\limits{n\rightarrow \infty}\mathrm{P}\left(Y_n^*\leqslant y\right)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. $$

2.3.3 二项分布的正态近似

棣莫弗-拉普拉斯（de Moiver-Laplace）中心极限定理：设 $n$ 重伯努利试验中，事件 A 在每次试验中出现的概率为 $0<p<1$，$q=1-p$，记 $S_n$ 为 $n$ 次试验中事件 A 出现的次数，记

$$ Y_n=\dfrac{S_n-np}{\sqrt{npq}}. $$

则对任意实数 $y$，有

$$ \lim_{n\rightarrow\infty}\mathrm{P}(Y_n\leqslant y)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. $$

三、常用公式

3.1 统计量

3.1.1 两独立总体均值之差的统计量

按方差是否已知和是否相等，两独立总体均值之差的统计量公式共有以下 6 种形式（其中 $\sigma^2$ 为总体方差，$s^2$​ 为样本方差）：

表 - 统计量（均值之差）

3.1.2 两独立总体比率之差的统计量

两个独立总体的阳性比率分别为 $\pi_t,\;\pi_c$，样本量分别为 $n_t,\;n_c$，阳性样本量分别为 $x_t,\;x_c$，则样本阳性比率为 $p_t=x_t/n_t,\;p_c=x_c/n_c$​。

表 - 统计量（比率之差）

3.2 置信区间

什么是置信区间：总体参数 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间 $(LCI, UCI)$ ，其能以概率 $1-\alpha$ 覆盖到真实的 $\theta$。

3.2.1 两独立总体均值之差的置信区间

表 - 置信区间计算公式（均值之差）

3.2.2 两独立总体比率之差的置信区间

表 - 置信区间计算公式（比率之差）

3.3 显著性（p 值）

按不同需求，检验可分为单尾检验（$H_0:一个均值大于另一个均值$）和双尾检验（$H_0:两总体均值相等$）两种。常用的显著性水平有 0.05 和 0.01。

首先根据原假设 $H_0$ 确实是单尾还是双尾检验，然后在 3.1 节选择对应的统计量，代入样本计算出统计量的观测值，再参考下图即可得到 p 值。

3.4 效应量

当假设检验拒绝原假设时，表示参数与假设值之间差异显著，但这一结果并未告诉我们差异的大小（程度）。度量差异大小的统计量就是效应量（Effect Size），如果假设检验拒绝了原假设，一般应该给出相应的效应量。效应量描述 了结果的差异程度，Cohen 用以下公式计算效应量，记为 Cohen's d：

$$ {\color{blue}\text{Cohen's}\;d=\dfrac{|\text{样本均值之差}-\text{假设均值之差}|}{\text{合并样本标准差}}} $$

其含意是参数与假设值之间相差几个样本标准差，例如当效应量为 0.90 时，表示样本均值与假设的总体均值相差 0.90 个标准差。

根据 Cohen（1988）提出的标准，独立样本t检验的小、中、大效应量对应的d值分别为 0.20，0.50，0.80：

• 当 $d<0.20$ 时，为非常小的效应量；
• 当 $0.20\leqslant d<0.5$ 时，为小的效应量；
• 当 $0.5\leqslant d<0.8$ 时，为中等效应量；
• 当 $d\geqslant0.8$​​ 时，为大的效应量。

表 - 常见检验方法的效应量计算公式

3.5 灵敏度

MDE（Minimum Detectable Effect，最小检测效应）是用于衡量检验灵敏度的指标，相当于显微镜的分辨率，MDE 的值越小检验的灵敏度越高。例如，当两个总体均值之差为 0.25 时，使用 MDE = 5.20 的实验检验出的结果是不可靠，就好比是使用光学显微镜测量出了原子的直径。

MDE 的大小受以下5个因素影响：检验方法、犯第Ⅰ类错误概率 α（↓）、犯第Ⅱ类错误 β（↓）、方差（↑）、样本量（↓），括号中的箭头表示该指标对 MDE 的影响方向。

Z检验的 MDE 公式在形式上可记为：

$$ MDE={\color{blue}(z_{\alpha/2}+z_{\beta})\times\text{标准误}} $$

备注：一般取 $\alpha=0.05,\;\beta=0.20$，此时 $z_{\alpha/2}+z_\beta=$​ 2.8015852，更多置信水平和功效水平的上分位数参见附录。

表 - MDE 计算公式

3.6 样本量

虽然样本量越大 MDE 越高（值越小），但实验成本也越高。为平衡两者，在实验前需要先根据具体情况和需求（检验对象的方差、可接受的最大犯错概率）确定 MDE，然后根据 MDE 公式即可反推出实验所需要的最小样本量。

推荐使用免费工具 G*Power 来计算样本量。

四、FAQ

[不同结果的解读]

[不同样本量的二项分布与正态分布的误差]

[不同样本量的样本均值分布与正态分布的误差]

附录

表 - 常用正态分布上分位数

参考资料

• 贾俊平《统计学基于R》第5版，中国人民大学出版社，2023：勘误：P173-175，公式7.6、公式7.7、公式7.9、公式7.10分母中的减号均应为加号，公式7.8分母中的$n_1+n_2-1$ 应为 $n_1+n_2-2$；
• Georgi Z. Georgiev. Statistical Methods in Online A/B Testing: Statistics for data-driven business decisions and risk management in e-commerce, 2019.
• 茆诗松《概率论与数理统计》第3版，高等教育出版社，2019；
• 贾俊平《统计学》第8版，中国人民大学出版社，2021；
• 刘启林. A/B测试(AB实验)的基础、原理、公式推导、Python实现和应用；
• Bloom, H.S, MINIMUM DETECTABLE EFFECTS: A Simple Way to Report the Statistical Power of Experimental Designs, 1995；
• 盛骤《概率论与数理统计》第4版，高等教育出版社，2008。