《信息论、推理与学习算法》总览

摘要: 《信息论、推理与学习算法》内容总览

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

本文我们介绍一本信息论方面与机器学习结合的不错的书：《信息论、推理与学习算法》。除了传统信息论中香农的理论思想，以及通信问题的一些实际解决方案。还论述了贝叶斯数据建模，蒙特卡洛方法，变参法，聚类算法和神经网络。

将信息论与机器学习结合的原因在于大脑是终极的压缩和通信系统，而数据压缩和纠错码的现代算法所使用的工具与机器学习中相同。

《信息论推理与学习算法》(pg59)

如何在噪声信道上实现理想通信

考虑噪声通信信道的几个例子：

• 两个调制解调器通过电话线进行数字信息的通信。
• 太空船到地球的无线通信链路。
• 细胞复制，子细胞的 DNA 包含来自父细胞的信息。
• 磁盘驱动器，计算机内存 -> 磁盘驱动器 -> 计算机内存。

在以上实例中，如果在信道上发送数据，在一定概率下，所接受到的消息会不同于被发送的消息。我们希望一个理想的通信信道，也就是以上概率为 0。

物理级解决方案

物理级解决方案指提高通信信道的物理特性，降低其差错概率。例如：

• 在电子线路中使用更可靠的元器件。
• 从磁盘密封盒中将空气抽掉，消除会使读磁头偏离磁道的扰动。
• 使用一片稍大的磁介质表示一个比特。
• 使用高功率信号或给电子线路降温，以便降低热噪声。

但物理级改进方案会大幅提高成本。

系统级解决方案

信息论与编码理论给出另一种方案：依然用原有的噪声信道，再将通信系统加在其上，以便能够检测并纠正信道所引入的差错。信道前增加编码器，信道后增加译码器。

编码器通过在源信息 $s$ 中以某种方式假如冗余信息，编码为发送消息 $t$，信道在发送消息上叠加噪声，产生被接收消息 $r$，译码器利用编码系统引入的已知冗余信息，推断出源信号 $s$ 和被叠加的噪声。这种方案的代价是要求编码器和译码器需要具有一定的计算能力。

信息论关心的是这些系统的理论极限，我们能达到的最佳纠错性能是什么。

编码理论关心的是如何创建实用的编码和译码系统。

---