1. 特征函数
1.1 介绍
特征函数是研究随机变量分布的一个重要工具。由于分布和特征函数之间存在一一对应关系，因此在得知随机变量的特征函数后，就可以知道它的分布。用特征函数求随机变量的分布律比直接求随机变量的分布容易得多，而且特征函数具有良好的分析性质。
特征函数的定义：设随机变量的分布函数为$F(x)$，称
$$ g(t)=E[\mathrm{e}^{\mathrm{i}tx}]=\int_{-\infty}^{+\infty}{\mathrm{e}^{\mathrm{i}tx}}\mathrm{d} F(x),\qquad -\infty<t<+\infty $$
为$X$的特征函数。
特征函数$g(t)$是实变量$t$的复值函数，由于$|\mathrm{e}^{\mathrm{i}tx}|=1$，故随机变量的特征函数必然存在。
特征函数具有以下性质：
- $g(0)=1$，$|g(t)|\leqslant 1$，$g(-t)=\overline{g(t)}$；
- $g(t)$在$(-\infty,+\infty)$上一致连续；
- 若随机变量$x$的$n$阶矩$EX^n$存在，则$x$的特征函数$g(t)$可微分$n$次，且当$k\leqslant n$时，有$g^{(k)}(0)=\mathrm{i}^kEX^k$；
$g(t)$是非负定函数。即对任意正整数$n$及任意实数$t_1,t_2,\cdots,t_n$和复数$z_1,z_2,\cdots,z_n$，有
$$ \sum_{k,l=1}^{n}{g(t_k-t_l)z_k\overline{z_l}}\geqslant0; $$
若$X_1,X_2,\cdots,X_n$是相互独立的随机变量，则$X=X_1+X_2+\cdots+X_n$的特征函数；
$$ g(t)=g_1(t)g_2(t)\cdots g_n(t); $$
其中$g_i(t)$是随机变量$X_i$的特征函数，$i=1,2,\cdots,n$；
- 随机变量的分布函数由其特征函数唯一确定；
设随机变量$X$的特征函数为$g_X(t)$，$Y=aX+b$，其中$a,b$为任意实数，则$Y$的特征函数为
$$ g_Y(t)=\mathrm{e}^{\mathrm{i}tb}g_X(at). $$
1.2 常见随机变量的数学期望、方差和特征函数表
| 分布名称 | 分布律或概率密度 | 期望 | 方差 | 特征函数 |
|---|---|---|---|---|
| 0-1分布 | $\begin{align}&P(X=1)=p,\quad P(X=0)=q\\&0<p<1,\quad p+q=1\end{align}$ | $p$ | $pq$ | $q+p\mathrm{e}^{\mathrm{i}t}$ |
| 二项分布 | $\begin{align}&P(X=k)=C_n^kp^kq^{n-k}\\&0<p<1,\quad p+q=1,\quad k=0,1,\cdots,n\end{align}$ | $np$ | $npq$ | $(q+p\mathrm{e}^{\mathrm{i}t})^n$ |
| 泊松分布 | $\begin{align}&P(X=k)=\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda},\quad \lambda>0\\&k=0,1,\cdots\end{align}$ | $\lambda$ | $\lambda$ | $\mathrm{e}^{\lambda(\mathrm{e}^{\mathrm{i}t}-1)}$ |
| 几何分布 | $\begin{align}&P(X=k)=pq^{k-1},\qquad 0<p<1,\\&p+q=1,\qquad k=1,2,\cdots\end{align}$ | $\frac{1}{p}$ | $\frac{q}{p^2}$ | $\frac{p\mathrm{e}^{\mathrm{i}t}}{1-q\mathrm{e}^{\mathrm{i}t}}$ |
| 均匀分布 | $f(x)=\begin{cases}&\frac{1}{b-a},\qquad a<x<b\\&0,\qquad\qquad else\end{cases}$ | $\frac{a+b}{2}$ | $\frac{(b-a)^2}{12}$ | $\frac{\mathrm{e}^{\mathrm{i}bt}-\mathrm{e}^{\mathrm{i}at}}{\mathrm{i}(b-a)t}$ |
| 正态分布 | $f(x)=\frac{1}{\sigma\sqrt{2\pi}}\mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}}$ | $\mu$ | $\sigma^2$ | $\mathrm{e}^{\mathrm{i}\mu t-\frac{\sigma^2 t^2}{2}}$ |
| 指数分布 | $f(x)=\begin{cases}\lambda\mathrm{e}^{-\lambda x},\qquad x\geqslant0\\0,\qquad\qquad x<0\end{cases},\qquad \lambda>0$ | $\frac{1}{\lambda}$ | $\frac{1}{\lambda^2}$ | $(1-\frac{\mathrm{it}}{\lambda})^{-1}$ |
1.3 应用
1.3.1 证明两个相互独立的正态分布的和仍然是正态分布
首先，对于标准正态分布$X\thicksim N(0,1)$的特征函数为
$$ g(t)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}{\mathrm{e}^{\mathrm{i}tx-\frac{x^2}{2}}}\mathrm{d}x $$
由于其绝对可积，所以可对上式在积分号下求导，得
$$ \begin{cases} g'(t)&=-tg(t)\\ g(0)&=1 \end{cases} $$
解得
$$ g(t)=\mathrm{e}^{-\frac{t^2}{2}} $$
由性质7，正态分布$Y\thicksim N(\mu,\sigma^2)$，即$Y=\sigma X+\mu$的特征函数为
$$ g_Y(t)=\mathrm{e}^{\mathrm{i}\mu t-\frac{\sigma^2t^2}{2}} $$
由性质5，两独立正态分布$Y_1\thicksim N(\mu_1,\sigma_1^2)$与$Y_2\thicksim N(\mu_2,\sigma_2^2)$的和的特征函数为
$$ g_{Y_1+Y_2}(t)=\mathrm{e}^{\mathrm{i}\mu_1 t-\frac{\sigma_1^2t^2}{2}} \mathrm{e}^{\mathrm{i}\mu_2 t-\frac{\sigma_2^2t^2}{2}}=\mathrm{e}^{\mathrm{i}(\mu_1+\mu_2) t-\frac{(\sigma_1^2+\sigma_2^2)t^2}{2}} $$
这是服从正态分布$N(\mu_1+\mu2,\sigma_1^2+\sigma_2^2)$的随机变量的特征函数，所以两个相互独立的正态分布的和仍然是正态分布，且其均值为$\mu_1+\mu_2$，其方差为$\sigma_1^2+\sigma_2^2$
2. 母函数
2.1 介绍
母函数的定义：设$X$是非负整数值随机变量，分布列
$$ p_k=P(X=k),\qquad k=0,1,\cdots $$
则称
$$ P(s):=E[s^X]=\sum_{k=0}^{\infty}{p_ks^k} $$
为$X$的母函数。
母函数具有以下性质：
- 非负整数值随机变量的分布列由其母函数唯一确定；
设$P(s)$是$X$的母函数，若$EX$存在，则
$$ EX=P'(1); $$
若$DX$存在，则
$$ DX=P''(1)+P'(1)-[P'(1)]^2; $$
- 独立随机变量之和的母函数等于母函数之积；
若$X_1,X_2,\cdots$是相互独立且同分布的非负整数值随机变量，$N$是与$X_1,X_2,\cdots$独立的非负整数值随机变量，则$\begin{aligned}Y=\sum_{k=1}^N{X_s}\end{aligned}$的母函数为
$$ H(s)=G(P(s)) $$
其中$G(s)$、$P(s)$分别是$N$、$X_1$的母函数。
