Ross概率论基础教程

字数统计: 2.2k字 | 阅读时长: 8分

2022-01-03

摘要: 《概率论基础教程》的读书笔记

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

本文是研究生时期研读《A First Course in Probability》时写的笔记，中文名叫概率论基础教程，共 75 页。不要被基础教程给迷惑了，实际上这是一本进阶的书。如果已经学过大学概率论与数理统计，那么看这本书把概率的内容梳理一遍还是很合适的。

本书的精华在于例题，很多知识点看的时候以为自己理解了，但是研读完例题之后，会有新的发现。

前8章的例题中，很多例子都是概率论中非常经典的问题，例如普丰投针、分赌本问题、巴拿赫火柴问题、赌徒破产问题、最优奖问题、AFP肝癌普查等等。这些例子稍加变化就有不同的解法，非常神奇。此外还有通信中的游程编码，相关系数、信息熵、信号最优估计的原型。

第9章里面提到了马科夫链，可以为随机过程的学习开个头。

本书的习题也不错，有时间的话可以刷一刷。这些题都是有答案的，就是下面的小册子，300页，很详细了。

Manual-for-A-First-Course-in-Probability

组合分析

技术基本法则
排列
组合
多项式系数
方程的整数解个数

概率论公理化

样本空间, 事件
概率论公理
几个命题
等可能事件, 古典概型
概率作为连续集函数
概率作为确信程度的度量

例题

example5m: 匹配问题
example5n: 5对夫妻围成一圈

条件概率与独立性

条件概率
- 乘法公式
贝叶斯公式
- 完备事件组
独立事件
- 条件独立性

例题

example2g: 匹配问题变形
example4c: 赌徒破产问题
example5d: 找回帽子
example5e: 拉普拉斯继承准则

随机变量

随机变量
累积分布函数(CDF)
离散型随机变量
数学期望
随机变量函数f(X)的数学期望
数学期望的线性性质
方差
伯努利分布与二项分布
泊松分布
- 泊松范式
- [0, t] 时间内事件出现次数
几何分布
负二项分布
超几何分布
Zeta分布(Zipf分布)
随机变量和sum(Xi)的数学期望

例题

example1e: 收集优惠券
example4b: 随机需求的最优库存
example6f: 通信系统
example7d: 最大游程长度

连续型随机变量

连续型随机变量
连续型随笔变量的均值和方差
均匀分布
正态分布
正态随机变量函数 f(X)
标准正态分布
伯努利分布的正态近似(拉普拉斯极限定理), np(1-p)大
伯努利分布的泊松近似(泊松定理), n大, p小
指数分布
- 指数分布无记忆性
- 失效率函数(Hazard Rate Function)
- 生存分析
Gamma分布
- 第n个事件发生时间
- Erlang分布
- 卡方分布
- 负二项分布的极限
威布尔分布(Weibull)
柯西分布
Beta分布
随机变量函数f(X)的分布

例题

example3d: 贝特朗悖论
example6d: 柯西分布

联合分布随机变量

联合分布函数
- 联合分布, 边缘分布
- 联合密度, 边缘密度
- 多维正态分布
独立随机变量
- 两个随机变量 X, Y 独立等价于 f(x, y) = h1(x)h2(y)
- N 个随机变量独立
独立随机变量的和
- 均匀分布的随机变量
- $\Gamma$随机变量
- 正态随机变量
- 泊松随机变量和二项随机变量
- 几何随机变量
离散情形下的条件分布
连续情形下的条件分布
次序统计量
随机变量函数的联合分布
可交换随机变量(对称随机变量)

example2b: 独立的泊松分布和
example2e: 正态分布的特征
example2g: 计算机选择随机子集
example2h: P(X >= YZ)
example2i: 半衰期的概率解释
example4c: 多项分布
example5c: 二元正态分布
example5d: 概率的概率分布($\beta$ 分布)
example6a: 随机样本差分的分布
example6b: 随机样本中位数的分布
example6c: 随机样本极差的分布
example7a: 联合密度函数计算
example7b: 极坐标的联合分布
example7e: N 个 i.i.d. 的联合密度函数计算
example8a: 可交换变量的证法
example8b: 抽出 4 张 A 各自所需的次数
example8c: 波利亚瓮
example8d: 次序统计量的差分

期望的性质

随机变量的期望的定义
随机变量和的期望
- 二维随机变量的期望
- 由二维 r.v. 的期望导出和的期望
- 用和的期望公式求一些常见分布的期望
  - 二项分布
  - 负二项分布
  - 超几何分布
- 无限个 r.v. 和的期望, 以下两种情况，求期望和求极限可以交换
  - Xi 均为非负 r.v.(P(Xi >= 0) = 1 对所有 i 成立)
  - $\sum\limits_{i=1}\limits^{n}E(|x_{i}|) < \infty$
- 通过概率方法将期望值作为界
  - 找出某些函数的界
- 最大数与最小数的恒等式
  - 通过概率方法证明
事件序列中事件发生次数的矩
协方差、和的方差、相关系数
- 独立随机变量乘积的期望
- 协方差的定义和性质
- 随机变量和的方差
条件期望
- 条件期望的定义
- 利用条件期望求期望(全期望公式)
- 利用条件期望求概率
- 条件方差
条件期望与预测
- 两个 r.v. X, Y，基于 X 的观测值预测 Y = g(X)
- 预测准则是最小化 $E[(Y - G(X))^{2}]$，所得最优预测为 g(X) = E[Y|X]
矩母函数
- $M(t) = E[e^{tX}]$
- X 的所有阶矩都可以从 M(t) 在 t = 0 出的各阶微商得到。
- 常见分布的矩母函数
  - 二项分布
  - 泊松分布
  - 指数分布
  - 正态分布
  - 负二项分布
  - 几何分布
  - 均匀分布
  - $\Gamma$分布
- 矩母函数的性质
  - 独立随机变量和的矩母函数等于各随机变量矩母函数的乘积
  - 矩母函数唯一地确定了分布
- 联合矩母函数
- 正态随机变量进一步性质
  - 多元正态分布
  - 样本均值与样本方差的联合分布(卡方分布)
期望的一般定义: 斯蒂尔切斯积分

example2a: 二维随机变量期望的求法
example2k: 游程的期望数
example2l: 平面上的随机徘徊
example2m: 快排的比较次数的期望
example2n: 事件和的概率
example2p: 最常访问的对象放在最易访问的单元
example2q: 竞赛图中哈密顿路径数的最大值
example2r: 期望值作为界的例子
example2s: 不等概率的优惠券收集问题
example3d: 另一个优惠券收集问题
example3f: 优惠券收集过程中的落单种类问题
example4a: 样本均值的方差、样本方差的均值
example4c: 有限总体的抽样
example5a: 二项分布的条件期望
example5b: 连续分布的条件期望
example5d: 随机个数随机变量和的期望
example5g: 求条件期望
example5h: 几何分布的方差
example5i: (参考 3-3 example4c)
example5j: (参考 6-3)
example5k: 最优奖问题
example5l: 独立 r.v. X, Y，求 P(X < Y)
example5o: 随机个数随机变量和的方差
example6a: 条件期望与预测
example6c: 连续信号离散化
example7j: 随机个数随机变量和的矩母函数
example7m: 泊松分布