随机过程部分笔记

字数统计: 1.8k字 | 阅读时长: 7分

2023-11-01

摘要: 研究生随机过程部分笔记

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

研究生随机过程部分笔记，2016 年，共 84 页。

$1 概率论

$1-1 概率空间

随机试验 $E$
集合论

样本点 $\omega$：$E$ 的每个最简单的试验结果
样本空间 $\Omega$：全体 $\omega$ 的集合
随机事件体、$\Omega$ 中的 $\sigma$ 代数：样本空间 $\Omega$ 的子集组成的满足一定条件的类 $\mathscr{F}$
基本事件：仅含一个样本点
$(\Omega, \mathscr{F})$ 称为可测空间
$P$ 为可测空间 $(\Omega, \mathscr{F})$ 上的概率测度的三个公理
$(\Omega, \mathscr{F}, P)$ 称为概率空间

事件 $\sigma$ 代数
集函数

测度、可测集、测度空间
一维 Borel $\sigma$ 代数，一维 Borel 可测集，实可测空间

概率的性质
条件概率、条件概率空间

乘法公式
独立性

事件列的极限

Borel-Cantelli 引理

$1-2 随机变量、分布函数、数字特征

随机变量
分布函数

概率密度函数
全概率公式
贝叶斯公式

分布函数性质
离散型 r.v.
分布律

连续型 r.v.
密度函数
密度函数的性质

两点分布
二项分布
泊松分布
均匀分布
指数分布
正态分布
$\Gamma$ 分布
对数正态分布
$\chi^{2}$ 分布
t 分布
F 分布

二维随机 r.v.
二位联合分布函数
二位联合分布函数性质

R-S (Riemann-Stieltjes) 积分

R-S 积分的性质

随机变量函数的分布

随机变量函数的分布的例子：离散型
随机变量函数的分布的例子：一维连续型
随机变量函数的分布的例子：二维连续型

$Z = X + Y$
$Z = \min{(X, Y)}$
$Z = \max{(X, Y)}$
$Z = \frac{X}{Y}$
$Z = XY$

数学期望
k 阶矩
协方差矩阵

$1-3 矩母函数、特征函数、拉普拉斯变换

矩母函数(生成函数)

特征函数

常见分布的特征函数
拉普拉斯变换

$1-4 条件期望

条件期望：离散型
条件期望：连续型

条件期望性质

多源 r.v. 的条件期望：离散型、连续性、n元
条件乘法公式
条件独立

多维 r.v. 的特征函数

n维正态分布

n维正态分布的性质

$1-5 收敛性

以概率 1 收敛 (几乎处处收敛)
均方收敛
依概率收敛
依分布收敛

$2 随机过程概念

$2-1 随机过程概念

随机过程
参数集
样本函数
状态空间

$2-2 数字特征

均值函数
方差函数
均方差函数
协方差函数
相关函数

相关系数
互协方差函数
互相关函数

$2-3 分布函数

1 维分布函数
2 维分布函数
n 维分布函数
n 维特征函数
n 维特征函数族

两个随机过程相互独立
n 维分布函数族

随机过程存在定理
复随机过程

$2-4 分类

按状态空间 $E$ 和参数集 $T$ 分类：
- 随机过程
- 随机序列
- 连续参数链
- 离散参数链

按概率分布分类
- 独立分布
- 独立增量分布
- 马尔可夫过程
- 平稳过程
- 二阶矩过程
- 鞅
- 更新过程
- 点过程(计数过程)
- 正态过程
- 维纳过程

$3 泊松过程

$3-1 定义与背景

泊松过程：具有独立增量和平稳增量的计数过程
泊松过程两种定义的等价

分布与数字特征

$3-2 相邻事件的时间间隔

相邻事件时间间隔，指数分布

泊松过程性质

$3-3 剩余寿命与年龄

剩余寿命与年龄

$4 马尔可夫链

$4-1 定义与例子

马尔可夫链 $\{X(n), n\geq 0\}$
m 时刻 k 步转移概率，$P_{i,j}(m, k)$
m 时刻 1 步转移概率，$P_{i,j}(m, 1)$
m 时刻 k 步转移矩阵，$\mathbf{P}(m, k)$
m 时刻 1 步转移矩阵，$\mathbf{P}(m, 1)$

齐次马尔可夫链：$p_{ij}(m, k)$ 与 $m$ 无关
例子1：伯努利序列为齐次马尔可夫链

例子2：随机游走为齐次马尔可夫链
- 自由
- 两个吸收壁
- 两个反射壁
- 两个弹性壁

离散分支过程为马尔可夫链

马尔可夫链判定

由判定定理，以下过程均为马尔可夫链
- 独立过程
- 独立增量过程
- 维纳过程
- 泊松过程均为

$4-2 转移概率矩阵

随机矩阵
对齐次马尔可夫链，一步转移矩阵 $\mathbf{P} = (p_{ij})$
$\pi_{i}(n) = P\{X(n) = i\}$
n 时刻 $X_{n}$ 的概率分布向量 $\mathbf{\pi}(n) = (\pi_{1}(n), \pi_{2}(n), \cdots, \pi_{i}(n), \cdots)$
初始分布 $\pi_{i}(0)$
马尔可夫链特性由一步转移矩阵 $\mathbf{P}$ 和初始分布 $\mathbf{\pi}_{0}$ 决定

C-K 方程
对其次马尔可夫链，$\mathbf{P}(n) = \mathbf{p}^{2}$

$4-3 齐次马氏链的状态分类

吸收态 $p_{ii} = 1$
从状态 i 可到达状态 j
i j 相通（等价类）
从 i 到 j 的首达时刻 $T_{ij} = \min\{n: n\geq 1, X(n) = j, X(0) = i\}$

从 i 出发经 n 步首达 j 的概率：$f_{ij}(n) = P\{T_{ij} = n | X(0) = i\}$
从 i 出发迟早到达 j 的概率：$f_{ij} = \sum\limits_{n=1}\limits^{\infty}f_{ij}(n)$
常返状态，$f_{ii} = 1$
非常返状态（瞬时状态），$f_{ii} = 1$
从 i 出发首次到 j 的平均时间 $\mu_{ij} = \sum\limits_{n=1}\limits^{\infty}n f_{ij}(n)$
从 i 出发再次到 j 的平均时间 $\mu_{i} = \sum\limits_{n=1}\limits^{\infty}n f_{ii}(n)$
正常返状态，$\mu_{i} < +\infty$
零常返状态（消极常返状态），$\mu_{i} = +\infty$
周期：集合 $\{n: n \geq 1, p_{ii}(n) > 0\}$ 的最大公约数为状态 $i$ 的周期，记为 $d(i)$

若 i 为正常返的且非周期的，则 i 称为遍历状态
$p_{ij}(n) = \sum\limits_{m=1}\limits^{n}f_{ij}(m)p_{jj}(n - m)$
$f_{ij} > 0 \Leftrightarrow i \rightarrow j$

$f_{ij}(n)$ 的计算

$f_{ij(n)} = \left\{ \begin{array}{**lr**} \sum\limits_{k\neq j}p_{ik}f_{kj}(n-1) \quad (n > 1) \\ p_{ij} \quad (n = 1) \end{array} \right.$

常返状态性质
- $i$ 为常返状态等价于 $\sum\limits_{n=1}\limits^{\infty}p_{ii}(n) = \infty$
- $i$ 为非常返状态等价于 $\sum\limits_{n=1}\limits^{\infty}p_{ii}(n) = \frac{1}{1 - f_{ii}} < \infty$

常返状态性质的一些推论

从概率意义考察常返
若 $X(n) = i$，记 $I_{n}(i) = 1$，否则记 $I_{n}(i) = 0$
$S(i) = \sum\limits_{i=0}\limits^{\infty}I_{n}(i)$ 表示 $\{X(n), n \geq 1\}$ 到达 $i$ 的次数
记 $S_{m}(j) = \sum\limits_{n=m}\limits^{\infty}I_{n}(j)$，表示从时刻 m 起有无穷次到达 j。
记 $g_{ij} = P(S_{1}(j) = +\infty | X(0) = i) = P(S_{m+1}(j) = +\infty) | X(m) = i$，从 $i$ 出发，有无穷次到达 $j$ 的概率。
$g_{ij}$ 与 $f_{ij}$ 关系定理