概率方法的威力：由数学期望的性质推导出不等式

摘要: 概率方法在不等式证明中的应用

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

各位好，今天我们继续看一个概率方法在证明不等式时的威力，整体上的方法与 一个微分不等式，概率方法的威力 中类似，只是这个例子更为简单直接，没有那种很难想到的构造。然后我们把本例的方法抽象一下，形成一个可以解决一类问题的方法。

不等式问题

在数理统计中，对于总体均值最常见的统计量是样本均值 $T_{1} = \frac{1}{n}\sum\limits_{i=1}\limits^{n}X_{i}$。谈到均值的时候，一个常见的引申是加权平均，所以一个很自然的问题是用样本的加权平均值 $T_{2} = \sum\limits_{i=1}\limits^{n}w_{i}X_{i}$ 作为统计量怎么样，其中 $w_{i} \geq 0, \sum\limits_{i=1}\limits^{n}w_{i} = 1$。

根据我们对总体分布情况的了解，就可以考察一下 $T_{2}$ 的无偏性，如果在某些情况下 $T_{1}$ 和 $T_{2}$ 都无偏，可以对比一下两个统计量的有效性。在对比有效性的时候，有可能会用到下面这个不等式：

$$\frac{1}{n}(\sum\limits_{i=1}^{n}w_{i})^{2} \leq \sum\limits_{i=1}\limits^{n}w_{i}^{2}$$

虽然前面的样本加权平均值中 $w_{i}$ 需要满足 $\sum\limits_{i=1}\limits^{n}w_{i} = 1$，但上面这个不等式没这个要求，因此这个不等式还是挺有用的。

下面我们通过概率方法，轻松给出这个不等式的证明。

证明 (概率方法)

构造一个离散型随机变量 $\xi$，其概率质量函数为：

$$P(\xi = w_{i}) = \frac{1}{n}, \quad i=1,2,\cdots,n$$

由方差的公式，$Var(\xi) = E[\xi^{2}] - (E[\xi])^{2}$，另一方面，方差不能小于零，于是就有以下关于 $\xi$ 的数学期望不等式：

$$E[\xi^{2}] \geq (E[\xi])^{2}$$

下面用之前构造的随机变量代入这个不等式，即可凑成原不等式的形式。

以上不等式的右边非常直接，直接代入数学期望的定义即可：

$$E[\xi]^{2} = (\sum\limits_{i=1}\limits^{n}\frac{1}{n}w_{i})^{2}$$

左边是一个关于随机变量函数的数学期望。记随机变量函数为 $\eta = f(\xi) = \xi^{2}$，那么 $E[\eta]$ 的公式如下：

$$E[\eta] = E[\xi^{2}] = \sum\limits_{i=1}\limits^{n}f(w_{i})p_{i} = \sum\limits_{i=1}\limits^{n}w_{i}^{2}\frac{1}{n}$$

代入上面的数学期望不等式，得：

$$\sum\limits_{i=1}\limits^{n}w_{i}^{2}\frac{1}{n} \geq (\sum\limits_{i=1}\limits^{n}\frac{1}{n}w_{i})^{2}$$

整理后即得原不等式：

$$\sum\limits_{i=1}\limits^{n}w_{i}^{2} \geq \frac{1}{n}(\sum\limits_{i=1}\limits^{n}w_{i})^{2}$$

$\Box$

事实上，在前面的概率方法的过程中，我们构造随机变量后使用的核心不等式 $E[\xi^{2}] \geq (E[\xi])^{2}$ 是 Jensen 不等式的特例。

Jensen 不等式是指如果函数 $g$ 是定义在 $\xi$ 的取值范围上的连续凸函数，那么当 $E[\xi]$ 和 $E[g(\xi)]$ 存在时，有 $E[g(\xi)] \geq g(E[\xi])$。

$g(x) = x^{2}$ 当然是连续凸函数，代入 Jensen 不等式后就有前面证明过程用到的不等式 $E[\xi^{2}] \geq (E[\xi])^{2}$。

推广

上述的概率证法非常简明有力，因此我们希望抽象出一套方法论，如果某个不等式考虑用概率方法，可以沿着以下思路进行：

首先，构造一个概率分布已知的随机变量，

• 如果待证明的不等式与求和有关，就构造离散型随机变量，其取值就是数列中的数，概率质量函数的各取值对应的概率需要根据具体问题决定；
• 如果待证明的不等式与积分有关，就构造连续型随机变量，概率密度函数为被积函数的某个因式。

然后，利用概率论中某些与数学期望有关的不等式，例如 Jensen 不等式、Cauchy-Schwarz 不等式，闵可夫斯基不等式，均值不等式等。根据求随机变量函数的数学期望的公式，代入计算，得到待证的不等式。

上述过程中，第一步的概率值怎么取，以及第二步选择哪个不等式去凑，是需要整体考虑的，需要一些灵感和猜想。

总结

本文我们介绍了一个数理统计中可能遇到的不等式，通过概率方法，轻松给出了该不等式的证明。

进一步，我们初步总结了概率方法的一种思考路径：先构造随机变量，然后借助数学期望的不等式凑出待证明的不等式。其中概率质量函数和概率密度函数怎么设置，以及用概率论中的哪个不等式，是比较灵活的地方，需要一些灵感和猜想，这也是概率方法经常会显得非常优雅的原因。

---