参数估计与假设检验基础

摘要: 参数估计与假设检验基础

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

用假设检验解决决策问题
收集数据 -> 数据分析 -> 建立一个统计模型 -> 验证模型的拟合优度
-> 将决策问题转化为对模型参数的假设检验问题
-> 根据模型来寻找统计量(不好找可以似然比检验)

现实世界的不确定性是普遍存在的，要描述不确定现象的规律，需要用到概率论所提供的理论和方法。

当不能获得总体数据而只有样本数据时，就只能根据样本信息来推断总体数据的特征。

这种推断的信息是不完全的，推断结果具有不确定性，因此推断统计是建立在概率论基础之上的。

在文章概率论最基础的内容中，我们简要梳理了概率论中最基础的内容，概率的定义，性质；期望和方差的定义，性质；常见的离散型分布，二项分布，泊松分布；常见的连续型分布，均匀分布，指数分布，正态分布，以及 Python 代码。

在文章数据分布特征的描述统计中，我们简要梳理了数据分布特征的统计描述，以及相应的 Python 代码。

由于世界是不确定的，我们获得的数据都是随机样本的实际数据，通过这些数据，我们可以对总体的数量特征做出具有一定可靠程度的估计和判断，称为统计推断。

统计推断的内容有参数估计和假设检验两方面。

研究一个随机变量，推断它具有什么样的数量特征，按照什么样的模式变动，属于估计理论的内容。

推测随机变量的数量特征和变动模式是否符合事先所做的假设，属于检验理论的内容。

这两块的共同点是它们都对总体并不了解，都是利用样本观测值所提供的信息对总体的数量特征做出估计和判断。

本文我们简要梳理以下参数估计和假设检验最基础的内容。也就是大学统计学都会学的内容，包括 Python 代码，实际上这两块内容非常多，而且工作中也很有用，跟深入的人内容以后我们再学习。

---

参数估计

参数估计是以样本统计量来估计未知的总体参数。例如

• 用样本均值 $\bar{x}$ 估计总体均值 $\mu$
• 用样本方差 $S^{2}$ 估计总体方差 $\sigma^{2}$

具体做法是，首先需要进行概率抽样得到随机样本，然后通过对样本的实际观测取得样本数据，最后计算样本统计量的取值并对未知的总体参数进行估计。

(1) 估计量

在参数估计中，用于估计总体参数的统计量称为估计量。记为 $\hat{\theta}$

根据一个具体的样本计算出的估计量称为估计值。

(2) 点估计

点估计就是利用样本估计量 $\hat{\theta}$ 的某个数值直接作为总体参数的估计值。

定义

总体 X 的分布函数 $F(x, \theta)$ 形式已知。其中 $\theta$ 是待估计参数。

利用总体 X 中的样本 (X1, X2, …, Xn) 构造一个统计量 $\hat{\theta}=\hat{\theta}(X_{1}, X_{2}, …, X_{n})$ 来估计 $\theta$。

$\hat{\theta}=\hat{\theta}(X_{1}, X_{2}, …, X_{n})$ 为 $\theta$ 的点估计量，它是一个随机变量

将样本观测值的一个具体数值 $\hat{\theta}(x_{1}, x_{2}, …, x_{n})$ 就得到点估计量的一个具体数值 $\hat{\theta}(x_{1}, x_{2}, …, x_{n})$，该值称为 $\theta$ 的点估计值。

方法

点估计的方法有矩估计法、顺序统计量法、极大似然法等。

极大似然法

极大似然法是在总体分布类型已知，但含有未知参数 $\theta$ 的情况下的参数估计方法。

总体为 X，(X1, X2, …, Xn) 为总体 X 中抽取的随机样本，$f(x, \theta)$ 为这批随机样本的概率函数。

这里概率函数的含义是：如果总体的分布 X 是连续型，f 就是密度函数，如果总体的分布是离散型，f 就是概率分布。

当样本 x = (x1, x2, …, xn) 固定，$f(x, \theta)$ 看成 $\theta$ 的函数，称为似然函数，记为 $L(\theta, x)$。

注意：概率函数和似然函数的表达式相同，但是含义不同。

对于观测值 x = (x1, x2, …, xn)，如果似然函数 $L(\theta, x)$ 在 $\hat{\theta} = \hat{\theta}(x_{1}, x_{2}, …, x_{n})$ 处取得最大值，则称 $\hat{\theta}(x_{1}, x_{2}, …, x_{n})$ 为参数 $\theta$ 的最大似然估计值。

对于总体 X 的样本 (X1, X2, …, Xn)，$\hat{\theta}(X_{1}, X_{2}, …, X_{n})$ 为参数 $\theta$ 的极大似然估计量。

(3) 区间估计

区间估计就是利用样本估计量 $\hat{\theta}$ 的某两个估计值构成的区间去估计总体参数 $\theta$ 的取值范围。

定义

设 $[\hat{\theta}_{1}, \hat{\theta}_{2}]$ 为参数 $\theta$ 的一个区间估计。

由于 $\theta$ 未知，且样本随机，所以不能保证任何情况下(即对任何具体的样本值)，区间 $[\hat{\theta}_{1}, \hat{\theta}_{2}]$ 一定包含 $\theta$，而只能以一定的概率保证。

区间 $[\hat{\theta}_{1}, \hat{\theta}_{2}]$ 包含 $\theta$ 的概率 $P(\hat{\theta}_{1} < \theta < \hat{\theta}_{2})$ 越大越好，这个概率称为置信度或置信水平。

如果对给定的 $\alpha \in (0, 1)$，有 $\theta$ 的概率 $P(\hat{\theta}_{1} < \theta < \hat{\theta}_{2}) \geq 1 - \alpha$，则称 $[\hat{\theta}_{1}, \hat{\theta}_{2}]$ 为 $\theta$ 的置信水平为 $1 - \alpha$ 的置信区间。

通常 $\alpha$ 取 0.05 或 0.01。

Python代码

scipy.stats.norm.interval 可以求正态分布的总体均值的置信区间。

# loc 为均值，scale 为标准差
scipy.stats.norm.interval(alpha, loc=0, scale=1)

---

假设检验

基本思想

需要检验的假设称为原假设，记为 H0；原假设 H0 的对立面称为备择假设，记为 H1

假设检验其实是在找是否有足够证据拒绝原假设。判断依据是小概率原理，即概率很小的事件再一次试验中几乎不可能发生。

为了检验 H0 是否成立，我们先假定 H0 成立，然后如果样本观测导致了小概率事件出现，则表明原假设 H0 不成立，应该拒绝原假设。如果样本观测值未导致小概率事件发生，则认为没有理由拒绝原假设 H0。

小概率事件的概率越小，则拒绝 H0 越有说服力，这个概率记为 $0 < \alpha < 1$，称为检验的显著性水平。

一般步骤

step1: 根据问题的要求提出原假设 H0 和备择假设 H1
step2: 构造检验统计量 T(X)，并在假定原假设 H0 成立的前提下确定 T(X) 的概率分布
step3: 根据给定的显著性水平 $\alpha$，确定拒绝域
step4: 由样本值计算出检统计量 T(X) 的值
step5: 做判断。若 T(X) 的值落在拒绝域内，则拒绝原假设 H0，否则不拒绝原假设 H0

单个正态总体均值的假设检验

X = (X1, X2, …, Xn) 是从正态总体 $N ～ (\mu, \sigma^{2})$ 中抽取的随机样本，$\bar{X}$ 和 $S^{2}$ 为样本均值和样本方差，求以下检验问题

$$H0: \mu = \mu_{0} \\ H1: \mu \neq \mu_{0} \\$$

其中 $\mu_{0}$ 和 $\alpha$ 已知，而 $\sigma^{2}$ 未知。

当 $\sigma^{2}$ 未知，在原假设 H0 成立的条件下

$$T = \frac{\sqrt{n}(\bar{X} - \mu_{0})}{S} ～ t(n - 1)$$

因此取 $T = \frac{\sqrt{n}(\bar{X} - \mu_{0})}{S}$ 为检验统计量。拒绝域为 $|T| > c$，c 待定。

对于给定显著性水平 $\alpha$，查 t 分布表，确定 $c = t_{\frac{}\alpha{2}}(n-1)$，使得

$$P(|T| > t_{\frac{\alpha}{2}}(n - 1)) = \alpha$$

也就是拒绝域为

$$|T| = |\frac{\sqrt{n}(\bar{X} - \mu_{0})}{S}| > t_{\frac{\alpha}{2}}(n - 1)$$

由样本 X = (X1, X2, …, Xn) 计算出 T 的值，看是否在拒绝域内。

Python 代码

scipy.stats.ttest_1samp: 单个正态总体均值的检验

Scipy.stats.ttest_1samp(a, popmean, axis=0, nan_policy="propagate")

其中 a 是接收的 array，popmean 表示 $\mu_{0}$ 的值，无默认值。

输出为统计量的值，以及 p 值

---