每当看到数学的两个看似毫不相关的分支巧妙地联系了起来时,我总会为数学的神奇美丽惊叹不已。在很久以前,当我看到通过生成函数法把数论问题与复变函数方法结合起来,衍生出一门奇妙的“解析数论”时,我就惊叹过生成函数法的漂亮!可惜,一直都没有好好写整理这些内容。今天,当我在看李政道先生的《物理学中的数学方法》时,看到他把复变函数跟随机游动如鬼斧神工般了起来,再次让我拍案叫绝。最后实在压抑不住心中的激动,在此写写概率论和生成函数的事情。

数论与复变函数结合,就生成了一门“解析数论”,按照这个说法,概率与复变函数结合,应该就会有一门“解析概率”,但是我在网上搜索的时候,并没有发现这个名词的存在。经过如此,本文还是试用了这个名词。虽然这个名词没有流行,但事实上,解析概率的方法并不算新,它可以追溯到伟大的数学家拉普拉斯以及他的著作《分析概率论》中。尽管如此,这种巧妙漂亮的方法似乎没有得到大家应该有的充分的认识。

我觉得,即使作为一个简洁的计算工具,生成函数法这个美丽的技巧,也应该尽可能为科学爱好者所知,更不用说数学专业的朋友了。

离散概率

设$X$的可能取值是分立的$x_1,x_2,x_3,\dots$,在此处为了简便起见我们考虑的$X$都是正整数(分立的非整数也可以类似考虑),$X$的数量可能是有限的,也可以是无限的,它们对应的概率是$p_1=p(X=x_1),p_2=p(X=x_2),p_3=p(X=x_3),\dots$。那么,考虑生成函数(或叫“母函数”)
$$f(z)=\sum_{n} p_n z^{x_n}$$
也就是说,$f(z)$的$z^{\alpha}$项的系数,是$X$取值为$\alpha$的概率。

比如$P(X=n)=2^{-n},n=1,2,3,\dots$,那么对应的生成函数是
$$f(z)=\sum_{n=1}^{\infty} 2^{-n} z^n=\frac{1}{1-z/2}-1$$

概率的母函数有以下基本性质:

$f(1)=1$,这表示所有可能取值的概率总和,当然是1;

$X$的期望值
$$E(X)=\left.z\frac{d}{dz}f(z)\right|_{z=1}=\left.\frac{d}{d(\ln z)}f(z)\right|_{z=1}$$
上面的导数被称为“对数导数”。只需要简单代入并根据期望的定义就可以得出上面等式。

更进一步有
$$E(X^n)=\left.\left(\frac{d}{d(\ln z)}\right)^n f(z)\right|_{z=1}$$
若$f(z)$和$g(z)$代表着两次试验的概率分布的母函数,则两次试验后的概率分布的母函数为$f(z)g(z)$,这同样可以由定义推出。

例如,在一次实验中,成功的概率是$p$,成功则取值1,失败则取值0,那么对应的母函数是$p z^{1}+(1-p) z^{0}=pz+(1-p)$,$n$次试验后,母函数为
$$f(z)=[pz+(1-p)]^n$$
就这个式子展开,得到
$$f(z)=\sum_{i=0}^n C_n^i p^i (1-p)^{n-i} z^i$$
这就告诉我们在$n$次实验后,$X$取值的概率:
$$P(X=i)=C_n^i p^i (1-p)^{n-i}$$
而且容易求出
$$\begin{aligned}
E(X)=\left.\frac{d}{d(\ln z)}[pz+(1-p)]^n \right|_{z=1}=\left.npz[pz+(1-p)]^{n-1} \right|_{z=1}=np\\
E(X^2)=\left.\frac{d}{d(\ln z)}\{npz[pz+(1-p)]^{n-1}\} \right|_{z=1}=np+n(n-1) p^2
\end{aligned}$$
所以
$$Var(X)=np+n(n-1)p^2-(np)^2=np(1-p)$$
等等。以上就是我们关于“二项分布”的基本结果。

连续概率
上述方法是有可能推广到连续概率中去的。读者可能会有疑问,上面的讨论基于泰勒级数,泰勒级数是分立的,怎么可能推广到连续的呢?但是对于数学来说,它最神奇的地方在于“突破常规思维之后往往看到另一番广阔的天地”。为此,我们先定义如下的概率事件。设$X$的可能取值是$(-\infty,+\infty)$中的任意实数,$p(x\leq X\leq x+dx)=P(x)dx$,也就是说$P(x)$是概率密度。按照上面的母函数形式,我们考虑
$$f(z)=\lim_{dx\to 0}\sum_{x}P(x)z^{x}dx=\int_{-\infty}^{+\infty}P(x)z^{x}dx$$
以积分代替求和我们应该不会意外,但这种形式的函数我们是没有见过的,不过,同样是幂级数,没有理由一定要用记号$z$,我们换一个记号,把$z$换成$e^{-i\omega}$,上述讨论照样可以成立,我们发现,$f(z)$变成了
$$F(\omega)=\int_{-\infty}^{+\infty}P(x)e^{-i\omega x}dx$$
这是$P(x)$的傅里叶变换!

这样,傅里叶变换在概率论中有了鲜明的意义,它代表着一个概率分布的生成函数。因此,很容易知道,知道了傅里叶变换后的象,就可以知道原函数,因为两者含有相同的信息。根据$F(\omega)$求原来的概率分布的公式,正是傅里叶变换的逆变换
$$P(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{i\omega x}d\omega$$

相应地,连续概率的母函数(傅里叶变换)也有类似的几条性质:

总概率$F(0)=1$;

对于期望有$E(X)=\left.i\frac{d}{d\omega}F(\omega)\right|_{\omega=0}$

对于各阶矩有$E(X^n)=\left.i^n\frac{d^n}{d\omega^n}F(\omega)\right|_{\omega=0}$

后面,我们将尝试用解析概率的方法探讨一下随机游动问题(布朗运动)。我们将会看到,用这种方法探究随机游动,居然让人心旷神怡的简便。

转载到请包括本文地址:https://kexue.fm/archives/2550

更详细的转载事宜请参考:《科学空间FAQ》

如果您还有什么疑惑或建议,欢迎在下方评论区继续讨论。

如果您觉得本文还不错,欢迎分享/打赏本文。打赏并非要从中获得收益,而是希望知道科学空间获得了多少读者的真心关注。当然,如果你无视它,也不会影响你的阅读。再次表示欢迎和感谢!

如果您需要引用本文,请参考:

苏剑林. (Apr. 25, 2014). 《当概率遇上复变:解析概率 》[Blog post]. Retrieved from https://kexue.fm/archives/2550

@online{kexuefm-2550,
        title={当概率遇上复变:解析概率},
        author={苏剑林},
        year={2014},
        month={Apr},
        url={\url{https://kexue.fm/archives/2550}},
}