概率简史

摘要: 一本概率史的书的读书笔记

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

书名：《从博弈问题到方法论学科-概率论发展史研究》
作者：徐传胜
时间: 2010 年

手写笔记，共 56 页。

---

最近看了一本中国人写的概率论历史的书，2010 年出版。按照时间线分古典概率论，分析概率论，概率论公理化，马尔可夫链，现代概率论这几个话题勾勒出概率论兴起、发展和壮大的脉络，还是挺震撼的。

书中有一些对概率知识的罗列，学科成果的汇编和相关数学家简介。

另外还有一本是陈希孺的《数理统计学简史》，2002 年出版的，虽然比较老，但是这个作者太有名了，以后有时间还是搂一眼这本书。

• 概率论发展史研究

从数学角度，概率论可以分为四个时期

1. 萌芽阶段(远古到 1653)：以计数为工具，研究赌博和占卜问题
2. 古典阶段：以代数，组合为工具，研究离散型随机变量
3. 分析阶段：以特征函数，微分/差分方程为工具，研究连续型随机变量
4. 现代阶段：以集合论，测度论为工具，研究方向多元化

在整个过程中有一些划时代的著述

• 帕斯卡&费马的第三封信，标志概率论诞生
• 拉普拉斯，《分析概率论》，标志组合向分析的过渡
• 柯尔莫戈洛夫，《概率论基础》，公理化的近代概率论基础

---

---

$1 概率论的创立

投掷问题 -> 概率论的创立

• 1654.7.29 帕斯卡，费马第三封通信，解决”点数问题”
• 概率(Probability) & 机遇(Chance)，也就是主观概率和客观概率
• 帕斯卡对概率论的贡献
  • 给出有关组合理论的证明及之间关系
  • 数学归纳法推导有关组合规律
  • 条件概率和全概率公式，建立差分方程
  • 二项分布
  • 组合理论解决点数问题，可推广
• 费马区别帕斯卡的地方
  • 随机事件间的相互独立性
  • 概率加法公式及组合理论
  • 几何分布及负二项分布
  • 点数问题解法简洁，但仅适用两个选手

惠更斯与概率论的奠基

• 《论赌博中的计算》, 1 公理，14命题，1推论，5练习

---

$2 古典概率论发展

雅各布伯努利的《猜度术》， 1712.08

• 对掷 n 个骰子所得点数和为 m 的讨论
• 伯努利概型：明确指出重复博弈问题中，每次重复所涉及的事件概率不变且独立
• 开创无穷级数求和计算概率
• 引进伯努利数
• 伯努利多项式
• 创立大数定理: 讨论试验次数趋于无穷时，频率的极限行为
• 伯努利自然数幂求和公式
• 在伯努利前，对概率多以主观概率来解释(期望)

棣莫弗和正态概率曲线

• 《机会学说》, 1718
• 二项分布中心项的近似表示
• Stirling公式的证明
• 正态分布和极限定理
• 讨论有利事件相关变量的极限分布，但尚无方差概念

托马斯贝叶斯与逆概率思想

• 《机会学说中一个问题的解》, 1765
• 贝叶斯公理化演绎
  • 7 个定义和 7 个命题
  • 台球模型
  • $P(a<\theta<b|X=x)$ 问题形式上解决，但遗留了问题
    • 仅考虑了等可能可列事件组
    • 积分计算不容易
• 无穷级数以及 Stirling 公式的证明
• 递推法求 $(arcsin z)^{n}$ 的展开式
• 框记号的引入

俄罗斯早期概率文化

• 尼古拉伯努利第二 & 圣彼得堡悖论
  • 抛硬币，第 i 次掷出正面，获得 $2^{i-1}$ 元钱结束，问期望获得多少钱
  • 期望计算是无穷，但模拟结果仅几十
  • 如果以不超过赌本为度，会怎么样
• 丹尼尔伯努利 & 道德期望
  • 用”有节制的到的期望”代替圣彼得堡悖论中计算为无穷大的期望
  • 布朗运动: 黑白球各 n 个随即放入 2 瓶，每瓶各 n 个，相互交换 r 次后，甲瓶有 x 个白球的概率。
• 欧拉
  • 死亡率和人口增长问题演技
  • 年金保险计算
  • 孤儿保险金计算

---

$3 分析概率论(上)

拉普拉斯与分析概率论

• 组合概率 -> 分析概率
• 《分析概率论》
  • 绪论: 《概率的哲学导论》
• 创建连续型概率论
• 证明棣莫佛-拉普拉斯极限定理(二项分布收敛于正态分布)
• 丹尼尔-拉普拉斯模型
  • n罐球，黑白比不同，第1罐取一个放第2罐，直到从第n罐取一个放第1罐。循环多次。最终会以每罐的黑白比相同结束。
• 奠定几何概率基础
• 发展贝叶斯统计观点
• 开拓随机过程领域

泊松概率思想

• 泊松大数定理
• 泊松分布
• 泊松过程
• 积分极限定理
• 柯西分布
• 超几何分布

柯西对概率论的贡献

• 观测理论: 平均值法/最大最小法

比埃奈梅

• 稳定性理论，离差理论，线性最小二乘法理论，极限定理
• 简单分支过程的临界定理
• 充分统计量概念
• 统计模型: 比埃奈梅公式
• 推广力学中矩的概念，发展成矩方法

凯特勒

• 倡导正态分布应用于连续型数据的分析
• 一批数据是否拟合正态分布作为该批数据是否同质的依据
• 平均人思想

最小二乘法与正态分布

• 先驱者研究: 天文测地
• 勒让德创立最小二乘法
• 随机误差的早期研究
  • 所有观测值都有误差
  • 误差分布在 0 两侧且对称
  • 小误差出现的概率比大误差大
  • 拉普拉斯认为误差分布 f(x) 满足若干条件，进而得出拉普拉斯分布
• 高斯与正态分布
  • 正态分布的推导过程
• 正态分布至今仍然重要
  • 唯一傅里叶变换不变函数(正态分布函数与其特征函数形式一致)
  • 轻尾
  • 无穷可分(可以成为某随机变量序列极限分布)

---

$4 分析概率论(下)

古典概率思想在俄罗斯的传播

• 帕瓦罗夫斯基: 第一个将概率论应用于保险和人口的俄学者
• 罗巴切夫斯基: 非欧几何，实测三角形内角和
• 布拉什曼: 创莫斯科数学学会
• 热努夫
• 奥斯特罗格拉茨基
• 布尼亚可夫斯基: 第1部俄文概率著作《数学概率论基础》
• 达维多夫

圣彼得堡学派对古典概率的继承和发展

• Laplace 机械决定论思想的继承与发展
• 对概率论本质的认识过程
• 第一个泊松大数定理支持者
• 几何概率的研究
• 随机游动问题: 国际象棋盘上随机取两方格 A, B，求置于 A 的车走 x 步恰好到 B 的概率
• 抽样统计理论: N 人参加的战斗，随机取 n 人，其中 i 人伤亡，求整体的伤亡人数
• 概率论应用与其它数学分支
  • 代数方程
  • 随机求和
  • 排列理论
  • 数的分拆(箱中有 1 ~ n 的 n 个球，取 a 个，求和为 s 的概率)
  • 货的分装
• 概率论应用于社科
• 概率论应用于语言学
• 数学观察理论(确定随机测量误差的概率分布)

圣彼得堡学派对大数定理理论的发展

• 大数定理刻画频率稳定性，频率稳定性是随机现象的固有规律性
• 伯努利大数定理的研究
  • 尼古拉的研究
  • 马尔科夫的研究
  • 切比雪夫的研究
  • 辛钦的研究
• 对泊松大数定理的研究
• 切比雪夫大数定理
  • 切比雪夫的概率思想: 打破 Laplace 传统概率观点，强调概率论应用于发现自然科学规律
  • 建立概率论新体系，首先引入随机变量的概念，引入 pdf、特征函数、二阶完全平方
  • 发展矩方法理论
  • 比埃奈梅-切比雪夫不等式
  • 完善极限定理的证明
  • 收敛速度猜想
  • 洞察概率论本质
• 马尔科夫大数定理
  • 马尔科夫不等式
  • 马尔科夫大数定理(1907《大数定理对非独立随机变量的推广》)
  • 马尔科夫 1907 年给出现代概率论常用方法-缩减法，由此导出辛钦大数定理
  • 大数定理的充要条件
• 伯恩斯坦大数定理
  • 最大贡献是把古典概率论和现代概率论联系起来

圣彼得堡学派对中心极限定理(CLT)思想的研究

• 中心极限定理的历史
  • 中心极限定理在 1920 年由波利亚给出
  • Laplace 于 1810 年推广棣莫佛，得到棣莫佛-拉普拉斯定理，但一致缺乏严密证明
  • 1887 切比雪夫用矩方法证明，马尔科夫进一步完善
  • 1900 李雅普诺夫给出独立随机变量序列服从中心极限定理的条件，建立李雅普诺夫定理(最先系统用用特征函数方法)
  • 1920 年代：林德伯格-莱维定理
  • 1935: 林德伯格-费勒定理(古典中心极限定理圆满解决)
• 整数值随机变量序列的中心极限定理
  • Laplace 母函数
  • n + 1 人参加的游戏，若输掉规定盘数则出具，赢者继续，直至有人连赢 n 盘，求进行 x(x > n) 盘后游戏结束的概率(Laplace的解法为母函数法)
  • 切比雪夫用母函数证明中心极限定理
• 中心极限定理的矩方法证明
  • 1874 切比雪夫指出矩方法精髓
  • 马尔可夫把切比雪夫问题推广
• 马尔科夫和切比雪夫主要工具: 母函数，幂级数，连分数
• 斯蒂尔切斯《论连分数的研究》并给出 $[0, \infty)$ 上的矩问题
• 1887 切比雪夫《论概率论中的两个定理》，导出切比雪夫中心极限定理
• 1898 马尔科夫《论方程$e^{x^{2}}\frac{d^{m}}{dx^{m}}e^{-x^{2}}=0$的根》，导出马尔科夫中心极限定理
• 李雅普诺夫定理
  • 特征函数方法
  • 李雅普诺夫定理
  • 林德伯格条件
  • 收敛速度研究
  • 马尔科夫的截尾术
• 马尔科夫和李雅普诺夫关于CLT的方法论之争丰富了20世纪初概率论内容
• 现代概率极限理论三大技术：截尾术、对称化、中心化
• 关于CLT的辩论: 围绕马尔科夫 & 李雅普诺夫 vs 涅克拉索夫
• 伯恩斯坦对CLT的研究
  • 开创相依随机变量之和依法则收敛的研究
  • 1917 把独立性改为渐进独立性
  • 1926 把李雅普诺夫极限定理的结果推广到弱相关的随机变量之和及随即向量序列
  • 同年辛钦、费勒、莱维独立地找到 CLT 成立的充要条件 $$\int\limits_{|x|>X}dF(x) = o(\frac{1}{X^{2}}\times\int\limits_{|x|<X}x^{2}dF(x))$$

---

$5 概率论公理化

公理化早期研究

• 19世纪末：统计物理提出概率论逻辑基础的要求
• 一些尝试:
  • 布尔: 1851
  • 希尔伯特: 1900
  • 伯恩斯坦: 1917
  • 凯恩斯: 1920年代
  • 米泽斯: 1928
  • 伯雷尔: 1905

柯尔莫戈洛夫的公理化理论

• 1933 柯尔莫戈洛夫《概率论基础》，根植集合论、测度论、实变函数论
  • 测度: 概率
  • 可测函数: 随机变量
  • 全直线: 概率空间
  • 点集: 事件集
  • $E \rightarrow m(E)$: $A \rightarrow P(A)$
  • $m(\bigcup\limits_{i=1}\limits^{\infty}E_{i}) = \sum\limits_{i=1}\limits^{\infty}m(E_{i})$: $P(\bigcup\limits_{i=1}\limits^{\infty}A_{i}) = \sum\limits_{i=1}\limits^{\infty}P(A_{i})$
• 柯尔莫戈洛夫5公理
• 随机分析创立者: 伊藤清

莫斯科概率学派对概率论的其他贡献

• 莫斯科概率学派
  • 主要成员: 辛钦、柯尔莫戈洛夫
  • 研究工具: 集合论、微分方程、实变、泛函
  • 方向: 随机变量和的极限定理、马尔科夫过程、随机过程的一般理论，随机函数与随机向量场
• 现代概率论开拓者
  • 鲁金
  • 斯鲁茨基
  • 辛钦
  • 柯尔莫戈洛夫
• 概率极限理论
  • 大数定理推广
    • 柯尔莫戈洛夫三级数定理
    • 柯尔莫戈洛夫不等式
    • 柯尔莫戈洛夫强大数定理
  • CLT的深入研究
  • 分布逼近和分布的沿拓
• 随机过程的发展
  • 随机过程的两个渊源
    • 1907 马尔科夫关于”成连锁试验”的论文``
    • 庞加莱”连续概率”思想
  • 马尔科夫过程的几类
    • DT Markov Chain
    • CT Markov Chain
    • 轨道连续马尔科夫过程
    • 间断型马尔科夫过程
  • 柯尔莫戈洛夫方程：前进方程，后退房产
  • 1956, 强马尔科夫过程
  • 1934, 平稳过程
  • 1940, 平稳增量过程

---

$6 Markov 链的创立和应用

• Markov 链历史进程
  • 1906 Markov 《大数定理关于相依变量的扩展》，首创 Markov 链的原型。后扩充至连续时间(Markov过程)
  • 1948 柯尔莫戈洛夫和辛钦发展 Markov 过程和平稳过程理论
  • 1948 莱维《随机过程和布朗运动》
  • 伊藤清, 1942 随机积分, 随机微分；1951 关于 Brown 运动的随机微分方程
  • 杜布, 1953 《随机过程论》
• Markov《概率演算》
• Markov 链理论与应用
  • Markov 过程的定义；
  • Markov 过程的几何释义: 随机游动
  • 瓮中取球的 Markov 模型(Laplace 曾有研究): 两个翁，共 e 白 f 黑，翁 1 有 k 个球，翁 2 有 l 个球(k + l = e + f)，交换 n 次，过程中从翁 1 中取出共 m 个白球，则 $\lim\limits_{n\rightarrow \infty}E(m / n) = e / (e + f)$，研究转移概率
• Markov 链的遍历性,
  • 遍历理论 1871 年由 Boltzmann 提出, Markov 1910 开始研究
  • Markov 定理
  • 1931 Von Neumann 证平均遍历定理
• Markov 链的极限定理
  • 1907 证 Markov 链的渐进正态性
  • 1908 推广 1907 结果
  • 波利亚模型(非齐次Markov链)，及其转移概率
  • 1910 《成链锁的试验》证了两种情况的非齐次 Markov 链的 CLT
• Markov 链的应用
  • 对惠更斯所提出的无后效原理的推广
  • 对 Laplace 机械决定论的否定，否定了系统中任一状态与其初始状态之间的因果必然性
  • Markov 链的熵描述
  • 艾伦费斯特模型(粒子通过薄膜进行扩散过程的数学模型)
  • 遗传定律

---

$7 概率论在中国的传播和发展

• 中国第一部概率论著作: 《决疑数学》
• 许宝騄: 中国最早从事概统研究并达到世界先进水平
  • 1947 《完全收敛和大数定理》加强强大数定理，3 个收敛定理
  • 改进 CLT, 1945 《相互独立随机变量的样本均值和方差的近似分布》
  • 统计推断
    • 研究 Behrens-Fisher 问题
    • Gauss-Markov 模型中方差的最优估计问题
  • 推动多元分析
    • 任意维正态样本全体二阶矩的联合分布 — 威沙特分布(Wishart)
    • 多元分析中，基本分布是关于随机正定矩阵相对特征根的分布
    • 许氏公式, 处理椭球等高维分布统计量
• 当代概率学者
  • 王梓坤
  • 严士健 & 陈木法
  • 严加安
  • 马志明
  • 陈希孺
  • 侯振挺

---

$8 概率论发展新时代

现代概率论的主要研究方向：

• 随机分析
• Markov 决策过程(MDP)
• Markov 骨架过程(MSPS)
• 时间序列分析
• 决策分析
  • 确定型: 线性规划、非线性规划、动态规划
  • 风险型: 最大化期望收益，最大化期望机会损失
  • 不确定型: 乐观法、悲观法、乐观系数法、等可能性法、后悔值法
  • 决策方案比较时，需要效用理论评定偏好程度
  • 期望效用理论两个悖论
• 可靠性理论
• 蒙特卡罗法
• 质量控制
• 排队论
  • 3 部分: 输入过程, 排队规则, 服务机构
  • 常见模型: M/M/1, M/M/1/K, M/M/n, M/M/n/N
• 随机游动, 随机分形
  • 几种随机游动模型
    • 非回避式随机游动(Brown运动)
    • 回避式随机游动
    • 带陷阱的随机游动
    • 带吸引点的随机游动

---