程序员的数学-概率统计

摘要: 《程序员的数学-概率统计》书籍介绍

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

在实际应用中，我们希望灵活运用概率统计胸有成竹地处理相关问题，而不是凭直觉或者模糊概念猜测。这除了需要了解基本的计算步骤外，还需要深刻理解以下两条概念

• 概率是面积与体积的泛化
• 随机变量是一种以变量为名的函数

这两句话是现代概率论的基础

---

《程序员的数学-概率统计》(百度网盘链接(z8ei)) 这本书主要包含以下两大部分：

1. 聊聊概率这件事
2. 探讨概率的应用

这样分成两部分的原因是”观测值”与”观测值背后的生成机制”这两件事最好不要混淆。举个简单例子：

• 观测值：5 人从算命箱中抽签，4 人抽到吉，1 人抽到凶
• 观测值背后的生成机制：算命箱中有 70% 是吉，30% 是凶

从 7/10 和 4/5 这两种角度都可以讨论吉凶，但含义和意义完全不同。我们可以直接观测到观测值，但是无法观测该值生成的机制。真正要理解并应用统计方法，必须明确区分两者

第一部分会提到生成机制，但只讨论由该生成机制生成的观测值具有怎样的性质(正问题)

第二部分讨论生成机制本身，观测值怎样通过其背后的生成机制生成(逆问题)

现实世界往往都是逆问题，因此第二部分会有很多现实中的问题。赌场和游戏的背后机制是公开的，因此第一部分会有很多关于赌场和游戏的例子。

---

第一部分 聊聊概率这件事

概率的定义

• 概率的数学定义
• 三扇门(蒙提霍尔问题) — 飞艇视角
• 三元组$(\Omega, \mathscr{F}, P)$ — 上帝视角
• 随机变量
• 概率分布
• $\Omega$ 是幕后角色

多个随机变量之间的关系

• 例子: 各县土地使用情况
  • 不同县、不同用途的统计(联合概率与边缘概率)
  • 特定县、特定用途的统计(条件概率)
  • 倒推比例(贝叶斯公式)
  • 比例相同的情况(独立性)
• 联合概率与边缘概率
• 条件概率
• 贝叶斯公式
• 独立性
  • 事件的独立性
  • 随机变量的独立性

离散值的概率分布

• 二项分布
• 期望值
  • 期望值的基本性质
  • 期望值乘法运算
  • 期望值不存在的情况
• 方差与标准差
  • 方差即”期望值离散程度”的期望值
  • 各项独立时，和的方差等于方差的和
  • 平方的期望值与方差
• 大数定律
  • 独立同分布
  • 平均值的期望值与平均值的方差
  • 大数定律相关注意事项
• 条件期望与最小二乘法
  • 条件期望
  • 最小二乘法
  • 上帝视角
  • 条件方差

连续值的概率分布

• 例子：渐变色打印问题(密度计算的预热)
  • 用图表描述油墨的消耗量(累积分布函数)
  • 用图表描述油墨的打印浓度(概率密度函数)
  • 拉伸打印成品对油墨浓度的影响(变量变换)
• 概率为零
  • 出现概率恰好为零的情况
  • 概率为零将带来什么问题
• 概率密度函数
  • 概率密度函数的变量变换
• 联合分布，边缘分布，条件分布
  • 贝叶斯公式
  • 独立性
  • 任意区域的概率
• 期望，方差，标准差
• 正态分布与中心极限定理

协方差矩阵，多元正态分布，椭圆

• 协方差与相关系数
  • 分布倾向的明显程度与相关系数
  • 协方差与相关系数的局限性
• 协方差矩阵
  • 向量与矩阵的运算及其期望值
  • 协方差矩阵的变量变换
  • 任意方向的发散程度
• 多元正态分布
  • 截面与投影
• 协方差矩阵与椭圆的关系
  • 单位矩阵与圆
  • 对角矩阵与椭圆
  • 一般矩阵与倾斜的椭圆
  • 协方差矩阵的局限性

第二部分 探讨概率的应用

估计与检验

• 估计理论

  • 描述统计
  • 推断统计
  • 多目标优化
  • 减少候选项 — 最小方差无偏估计
  • 弱化最优定义 — 最大似然估计
  • 以单一数值作为评价基准 — 贝叶斯估计

• 检验理论

  • 简单假设
  • 符合假设

伪随机数

• 随机数序列
• 伪随机数序列
• 蒙特卡罗法
• 遵循特定分布的随机数生成

回归分析与多变量分析

• 通过最小二乘法拟合直线
• 主成分分析

随机过程

• 随机游走
• 卡尔曼滤波器
• 马尔可夫链

信息论

• 熵
• 二元熵
• 信源编码
• 信道编码

第三部分 概率论补充

近似公式与不等式

• 斯特林公式
• 琴生不等式
• 吉布斯不等式
• 马尔可夫不等式与切比雪夫不等式
• 切尔诺夫界
• 闵可夫斯基不等式与赫尔德不等式
• 算术平均值 >= 几何平均值 >= 调和平均值

随机变量的收敛

• 依概率 1 收敛
• 依概率收敛
• 均方收敛
• 依分布收敛

特征函数

KL散度与大偏差原理

---