函数方程串讲、从零推导柯西方程的解

  |  

摘要: 最重要的一类函数方程:柯西方程

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学,欢迎关注我哈,阅读更多原创文章】
我的网站:潮汐朝夕的生活实验室
我的公众号:潮汐朝夕
我的知乎:潮汐朝夕
我的github:FennelDumplings
我的leetcode:FennelDumplings


在文章 从零推导斯特林公式 中,我们严格证明了斯特林公式,它是信息论中推导取得最大熵的概率分布时需要用到的公式。

本文我们继续看一个信息论中要用到的理论:函数方程,函数方程理论将用于推导信息熵的定义式。本文首先串讲一下函数方程,然后详细推导最重要的一类函数方程也就是柯西方程,包括柯西方程的建立过程,以及柯西方程的解。

函数方程

函数方程是含有未知函数的方程,当然方程中不涉及 $f$ 的微分、积分,比如:

  • $f(x + y) = f(x) + f(y)$
  • $f(x + y) + f(x + y) = 2f(x)f(y)$
  • $f(x^{2}) - f(x) = 1$
  • $2f(x) + f(\frac{1}{x}) = x$
  • $f(s) = 2^{s}\pi^{s-1}\sin(\frac{\pi s}{2})\Gamma(1-s)f(1-s)$,解为黎曼 $\zeta$ 函数 $f(s) = \zeta(s)$
  • $f(x) = \frac{f(x + 1)}{x}$,解为伽玛函数 $f(x) = \Gamma(x)$
  • $f(z)f(1 - z) = \frac{\pi}{\sin(\pi z)}$,解为伽玛函数 $f(x) = \Gamma(x)$

如果含有 $f$ 的微分,则称为微分方程,比如汽车以额定功率启动时速度 $v$ 与时间 $t$ 关系的微分方程:

如果含有 $f$ 的积分,则称为积分方程,比如阿贝尔对等时摆曲线的方程 $x = x(y)$ 建立的积分方程:

对于微分方程、积分方程,在大学中都是一门课,有完备的理论体系,比如解的存在性定理、解的唯一性定理等等。作为对比,函数方程在大学中并没有一门课来讨论其解的存在性、唯一性。虽然没有完备的理论体系,并且函数方程没有普适的解法。但我们在高中时就接触过函数方程,并且在刷题中积累了很多解决函数方程的初等方法,比如换元法、待定系数法、迭代法等等。

虽然微分方程的理论更加完备,但它是跟着微积分一起创建、发展的,这可以追溯到 17 世纪的牛顿和莱布尼茨。作为对比,函数方程的历史更加悠久,可以追溯到 14 世纪,当时有一个数学家叫尼古拉·奥雷姆,他在研究匀加速运动的均匀性时,通过一个函数方程定义了一个线性函数:

此后几百年中,函数方程一直在数学家的工作中被使用,但是并没有出现关于函数方程的一般性理论。这其中最值得一提的是 16 世纪数学家圣-文森特的格里高利(Gregory of Saint-Vincent, 1584-1667) 在研究双曲线 $f(x) = \frac{1}{x}$ 的线下面积的过程中创建了以下函数方程:

该方程在推导信息熵的定义式时需要用到。该方程隐含了对数函数,文森特通过该方程与牛顿同期得到了 $f(x) = \frac{1}{1+x}$ 线下面积可以用对数来表示的结论。基于该结论,自然对数 e 在分析学中的地位得以初步建立。

牛顿推导广义二项式定理的过程并不严格,给后世留下了严格证明的任务,柯西尝试研究这个问题的过程中建立了柯西指数方程:

该方程经过一些变换,可以转换为柯西方程:

很多重要的函数方程都可以转换为柯西方程,解决了柯西方程就等于解决了很多方程。因此本文我们就来严格证明在一些额外条件限制下,柯西方程的解是正比例函数。


柯西方程

奥古斯丁·路易斯·柯西(1789-1857)是18世纪法国数学家,在数学领域非常高产,生涯 800 多篇论文,首创单复变函数理论;对定积分做了系统的开创性工作,把积分定义为和的极限;奠基数理弹性理论;众多定理和公式以他命名,比如柯西积分公式、柯西不等式,本文我们主要来看一下柯西方程

柯西(1789-1857)

柯西方程的建立

几百年前,数学家就知道当 n 是非负整数时的二项式定理:

其中二项式系数如下:

后来牛顿在 1664 年提出当 z 为任意有理数时,可以类似地利用二项式定理把 $(1 + x)^{z}$ 展开成 x 的幂级数,也叫做广义二项式定理

其中广义二项式系数如下:

注意二项式定理中是一个有限和而广义二项式定理是一个级数展开。当 $z$ 为非负整数时,这一公式又变回了二项式定理形式的有限和。因此广义二项式定理是关于 $(1 + x)^{z}$ 的级数展开的结论,那么就涉及到级数收敛性的讨论。

然而牛顿提出广义二项式定理的证明不严格,因此后世很多数学家都进行了尝试,柯西(1789~1857)和欧拉(1707~1783)是比较典型的两位,欧拉通过待定系数法+有理数稠密性完成了 $z$ 为实数,$|x| < 1$ 情况下的证明,柯西通过函数方程的方式完成了 $z$ 为实数, $|z| < 1$ 的证明,并且将二项式定理推广到了复数。现在我们可以用泰勒展开、级数收敛的理论、对 $(1 + x)^{z}$ 的级数展开进行严格证明。

柯西严格证明了当 $|x| < 1$ 时,$\sum\limits_{i=0}\limits^{\infty}\binom{z}{i}x^{i}$ 对 $z$ 的任何实数值收敛到一个实数。因此柯西定义了一个函数:

考虑两个级数相乘 $f(z)f(w) = \sum\limits_{i=0}\limits^{\infty}\binom{z}{i}x^{i}\sum\limits_{j=0}\limits^{\infty}\binom{w}{j}x^{j}$,也就是以下无穷矩阵的相加,比较常见的是按对角线来,以及按方块来。如果是按对角线来,称为柯西乘积

其中第一步是柯西乘积的定义,最后一步用到了组合恒等式 $\binom{z + w}{n} = \sum\limits_{k=0}\limits^{n}\binom{w}{k}\binom{z}{n-k}$。

因此对所有实数 $z$, $w$,以下方程成立:

该方程就是柯西指数方程。后面我们会证明如果 $f(z)$ 不恒为 0,则 $f(z) > 0$,因此可以对上式取对数 $g(z) = \ln{f(z)}$,得到柯西方程

柯西指数方程还有另一种建立方法,从以下幂级数出发:

考虑两个级数的柯西乘积 $E(x)E(y) = \sum\limits_{m=0}\limits^{\infty}\frac{x^{m}}{m!}\sum\limits_{n=0}\limits^{\infty}\frac{y^{n}}{n!}$,也就是按对角线对以下无穷矩阵相加:

以上第一步是柯西乘积的定义,最后一步用到了二项式定理。实际上,函数方程 $E(x + y) = E(x)E(y)$ 是二项式定理 $(x + y)^{n} = \sum\limits_{k=0}\limits^{n}\binom{n}{k}x^{k}y^{n-k}$ 的生成函数的表达式,也就是说函数方程和二项式定理是等价的。可以理解为,组合恒等式 $(x + y)^{n} = \sum\limits_{k=0}\limits^{n}\binom{n}{k}x^{k}y^{n-k}$ 写成生成函数形式为 $E(x + y) = E(x)E(y)$。

柯西方程的结论

柯西方程是形如 $f(x+y) = f(x) + f(y)$ 的一类函数方程,其中 $f: R \rightarrow R$。

在实数定义域上,我们可以证明 $f(x) = ax$ 是解。但除此以外,还有无数函数满足该方程,这是 1905 哈默证明的,这些函数比较奇怪,称为病态函数,这里就不讨论了,如果感兴趣的话可以看关于哈默基的内容。

也就是说,我们需要加条件使得柯西方程的解为正比例函数,以下条件任选其一即可:

(1) $f$ 是连续函数 (1821 年柯西证明),1875 年达布将条件减为 $f$ 在某点连续即可。

(2) $f$ 在某个开区间有界,也就是存在 $a, b \in R, (a < b)$, 函数在 (a, b) 有界。

(3) $f$ 在某个开区间单调。也就是存在 $a, b \in R, (a < b)$, 函数在 (a, b) 单调。

(4) $f$ 在某个以 0 开始的闭区间上保号,也就是存在 $\epsilon_{1}>0$ 使得 $x \in [0, \epsilon_{1}]$ 上有 $f(x) \geq 0$;或存在 $\epsilon_{2}>0$,使得 $x \in [0, \epsilon_{2}]$ 上有 $f(x) \leq 0$。


柯西方程的的解为正比例函数的证明

柯西对函数方程 $f(x + y) = f(x) + f(y)$ 的证明过程,称为柯西方法。具体地就是先求出自变量取所有自然数时,函数方程的解具有的形式,然后依次证明对自变量取整数、有理数、实数时,函数方程的解依然具有这种形式,从而得到函数方程的解。

在正整数定义域上的证明

数学归纳法:

对于 $x_{1}$ 和 $x_{2}$ 有 $f(x_{1} + x_{2}) = f(x_{1}) + f(x_{2})$。

假设 $f(x_{1} + x_{2} + \cdots + x_{n-1}) = f(x_{1}) + f(x_{2}) + \cdots + f(x_{n-1})$,则:

令 $x_{1} = x_{2} = \cdots = x_{n} = x$,则有:

因此 $f(n) = nf(1)$,当 n 为正整数时成立。

在整数定义域上的证明

对于 $f(x + y) = f(x) + f(y)$,令 $y = 0$,有 $f(x) = f(x + 0) = f(x) + f(0)$,因此 $f(0) = 0$。

令 $y = -x$,有 $f(0) = f(x - x) = f(x) + f(-x) = 0$,因此 $f(-x) = -f(x)$。

由于在正整数上,$f(n) = nf(1)$,当 $n$ 为负整数时,$-n$ 为正整数:

于是 $f(n) = nf(1)$,因此对于整数 $n$,$f(n) = nf(1)$。

在有理数定义域上的证明

由于 $f(nx) = nf(x)$ 对所有整数 n 和实数 x 成立,令 $x = \frac{m}{n}t$,其中 m, n 为整数,t 为实数,于是 $nx = mt$,因此:

因此对于 $t \in R$,有:

因此对于任意有理数 $q = \frac{m}{n}$,$f(qt) = qf(t)$。把 $t = 1$ 代入,得 $f(q) = qf(1)$

在实数定义域上的证明

现在我们有了对任意有理数 $q$ 有 $f(q) = qf(1)$。想要把有理数 $q$ 替换为实数 $x$,需要一些额外条件。

也就是需要一些额外的条件,才能推导出对任意实数 $x$,$f(x) = xf(1)$ 成立。下面我们对常见的一些额外条件分别进行证明。

附加条件1: 函数连续

由于有理数的稠密性,我们可以将实数 $x$ 写成一个有理数数列的极限 $x = \lim\limits_{i\rightarrow \infty}q_{i}$

有理数的稠密性

每一个实数都可以用有理数去逼近到任意精确的程度

下面是有理数稠密性的证明:

对固定正整数 $q$,令 $p$ 取遍所有整数,那么 $\frac{p}{q}$ 把数轴分成一系列长度为 $\frac{1}{q}$ 的区间,每个实数 x 位于这些区间的其中一个。

于是对任意实数 $x$,可以找到整数 $p$ 使得:

上面的不等式说明了每个实数都能用有理数 $\frac{p}{q}$ 去逼近到任意精确的程度 $\frac{1}{q}$。

引理

设 $f: R\rightarrow R$ 和 $g: R\rightarrow R$ 都是连续函数,且对所有有理数 q 都成立 $f(q) = g(q)$,则对所有实数 x,成立 $f(x) = g(x)$。

证明:

由有理数的稠密性,记 $x = \lim\limits_{i\rightarrow\infty}q_{i}$。

由于 $f, g$ 连续:

因此根据 $f$ 和 $g$ 的值在有理点上重合,得到 $f(x) = g(x)$。

前面我们知道柯西方程 $f(x + y) = f(x) + f(y)$,对于有理数 $q$ 有 $f(q) = f(1)q$,定义 $g(x) = f(1)x$,由于 $f$ 连续(额外条件),由引理,可以得到 $f(x) = g(x) = f(1)x$。

附加条件2: 函数在某个区间有界

以 $f$ 在 $[a, b]$ 上有上界为例,下界的情况、开区间的情况证法类似。

定义函数 $g(x) = f(x) - f(1)x$,$g$ 也是实值函数。

由于:

因此 $g$ 也满足柯西方程。

因此对于任意有理数 $q$ 和实数 $x$,有 $g(qx) = qg(x)$。

由于 $f$ 在 $[a, b]$ 有上界,设界为 $M$,也就是对任意 $x \in [a, b]$ 有 $|f(x)| \leq M$。

由于 $|x| \leq \max(|a|, |b|)$,因此对任意 $x \in [a, b]$ 有:

也就是 $g$ 在 $[a, b]$ 有界。

对任意 $x \notin [a, b]$,有有理数 $q$,使得 $x - q \in [a, b]$,$|g(x - q)| \leq M$。

因此 $g(x)$ 对任意 $x \in R$ 有界。

若存在 $x \in R$ 使得 $g(x) \neq 0$,则必存在 $n$ 使得 $|g(nx)| = |ng(x)|$ 趋于无穷,与 $g(x)$ 在 $x \in R$ 上有界矛盾。

因此 $g(x) = 0$ 恒成立,也就是 $f(x) = xf(1)$

附加条件3: 函数在某点连续

由函数 $f(x)$ 在 $x_{0}$ 连续的定义可得:

对任意 $\epsilon$,存在 $\delta$,使得 $x \in (x_{0} - \delta, x_{0} + \delta)$ 时,有 $|f(x) - f(x_{0})| < \epsilon$,也就是 $f(x)$ 在某个区间上有界,转化为附加条件2。

附加条件4: 函数在某区间单调

如果 $f$ 在某闭区间 $[a, b]$ 单调,则 $f$ 在 $[a, b]$ 有界,转化为附加条件2。

如果 $f$ 在某开区间 $(a, b)$ 单调,证明如下。

对于任意 $x \in (a, b)$,有:

其中 $q, r$ 为有理数,且 $q < x < r$。因此:

由有理数稠密性,存在 $q_{1} < q_{2} < \cdots < x$ 和 $r_{1} > r_{2} > \cdots x$ 使得:

于是:

由夹逼定理,$f(x) = f(1)x$


可以转化为柯西方程的函数方程

很多函数方程可以转化为柯西方程,下面是一些非常重要的例子。

(1) $f(x + y) = f(x)f(y)$

这是柯西指数方程,该方程可以用来推导泊松分布。

如果存在 $x_{0}$ 使得 $f(x_{0}) = 0$,那么 $f(x) = f(x - x_{0} + x_{0}) = f(x - x_{0})f(x_{0}) = 0$,因此 $f(x)$ 恒为 0。

因此这里我们假设对所有实数 $x$,$f(x) \neq 0$。

又因为 $f(x) = f(\frac{x}{2} + \frac{x}{2}) = (f(\frac{x}{2}))^{2}$,因此 $f(x) > 0$。因此可以定义 $g(x) = \ln{f(x)}$,那么 $g$ 是连续的,且满足柯西方程:

当 $f$ 连续时,$g$ 也连续,于是 $g(x) = g(1)x = \ln{f(x)}$。

因此对所有实数 $x$ 有 $f(x) = e^{g(1)x} = e^{\ln{f(1)}x} = f(1)^{x}$。

(2) $f(xy) = f(x)f(y)$

如果存在 $x \neq 0$ 使得 $f(x) = 0$,则 $f(x)$ 恒为 0。

因此假定 $x \neq 0$ 时,$f(x) \neq 0$。

首先考虑 $x$ 为正数的情况,对于 $x > 0, y > 0$,令 $z = \ln{x}, w = \ln{y}$,定义 $g(z) = g(\ln{x}) = f(x)$,有:

因此 $g$ 满足柯西指数方程,如果 $f$ 在 $(0, +\infty)$ 连续,那么 $g$ 在所有实数上连续。$g(x) = g(1)^{x}$。

则 $f(x) = g(z) = g(1)^{z} = f(e)^{\ln{x}}$,两边取自然对数 $\ln{f(x)} = \ln(f(e)^{\ln{x}}) = \ln{x}\times \ln{f(e)}$,两边再取自然指数,得到 $f(x) = x^{\ln{f(e)}}$

下面考虑 $x$ 为负数的情况。

在 $f(xy) = f(x)(y)$ 中令 $y=-1$,有 $f(-x) = f(x)f(-1)$,再令 $x = -1$,有 $f(1) = f(-1)f(-1) = 1^{k} = 1$,于是 $f(-1) = \pm 1$。

因此当 $x < 0$ 时,$-x > 0$,于是 $f(x) = f(-1)f(-x) = f(-1)(-x)^{\ln{f(e)}}$。

综合一下,对于实数 $x$,以下两个均为 $f(x)$ 的解:

(3) $f(xy) = f(x) + f(y)$

令 $x = 1, y = 1$,$f(1) = f(1) + f(1)$,因此 $f(1) = 0$。

令 $x = -1, y = -1$,$f(1) = f(-1) + f(-1) = 0$,因此 $f(-1) = 0$。

令 $y = -1$,$f(-x) = f(x) + f(-1) = f(x)$,因此 $f$ 满足 $f(-x) = f(x)$。

下面考虑 $x$ 为正实数的情况。

由于 $x > 0$,令 $x=e^{t}$,令 $g(t) = f(e^{t})$,于是:

因此 $g$ 满足柯西方程,如果 $f$ 在 $(0, +\infty)$ 连续,则 $g$ 在实数上连续,于是 $g(t) = g(1)t = f(e^{t})$。得到 $f(x) = g(1)\ln{x} = f(e)\ln{x}$。

当 $x < 0$ 时,$-x > 0$,$f(-x) = f(e)\ln{(-x)}$。

综合一下,$x$ 为实数时,$f(x) = f(e)\ln{|x|}$。

(4) $f(\frac{x+y}{2}) = \frac{f(x) + f(y)}{2}$

该方程为琴生方程(Jensen)。

记 $g(x) = f(x) - f(0)$,则 $g(x + y) = g(x) + g(y)$,也就是 g 满足柯西方程。

如果 $f$ 连续,那么 $g$ 也连续,$g(x) = g(1)x = (f(1) - f(0))x = f(x) - f(0)$。

因此对于实数 $x$,$f(x) = (f(1) - f(0))x + f(0)$。

(5) 其它

  • $f(x + y) = \frac{f(x)f(y)}{f(x) + f(y)}$

解为 $f(x) = \frac{k}{x}$

  • $f(x) \geq 0$,$f(x + y) = f(x) + f(y) + 2\sqrt{f(x)f(y)}$

解为 $f(x) = ax^{2}(a > 0)$

  • $f(x) \geq 0$,$(f(x))^{2} + (f(y))^{2} = f^{2}(x + y)$

解为 $f(x) = a\sqrt{x}(a > 0)$

  • $f(x) \geq 0$,$(f(x + y))^2 + (f(x - y))^2 = 2((f(x))^{2} + (f(y))^{2})$

解为 $f(x) = a|x|(a > 0)$

  • $f(x + y) = f(x) + f(y) + kxy$

解为 $f(x) = ax^{2} + bx$

  • $f(x + y) + f(x - y) = 2f(x)$

解为 $f(x) = ax + b$

总结

本文我们串讲了一下函数方程,并且从零推导了柯西方程建立过程、求解过程。很多函数方程都可以转换为柯西方程进而解决。

有了函数方程的基础,后面我们可以从零推导出信息熵的表达式、泊松分布的表达式。


Share