Tag: 信息论

2024
算法算法分析

一个算法分析的证明：概率方法证明上下界的范式

摘要: 通过概率方法讨论上下界的方式 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 各位好，今天我们来看一个算法分析中的不起眼的问题，证明过程很简单，但是体现了一种证明的范式，这种范式跟香农信息论中

算法疑难杂症

Golomb自描述序列

摘要: 前缀和高级技巧 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 本文我们来看一个网友投稿的问题：Golomb 自描述序列。这个问题涉及到的算法点非常基础，就是前缀和。但是思维量非常大，思路很难

2023
数信息论

香农经典信息论以及一些现代进展总览

摘要: 香农信息论内容总览 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 香农指出，通信的基本问题是在一点精确地或近似地恢复另一点所选择的消息。从这个基本问题出发，通信系统有三项性能指标：传输的有

数信息论

《信息论、推理与学习算法》总览

摘要: 《信息论、推理与学习算法》内容总览 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 本文我们介绍一本信息论方面与机器学习结合的不错的书：《信息论、推理与学习算法》。除了传统信息论中香农的理论思

2022
数信息论

考研信号与系统

摘要: 2014 考研专业课，信号与系统笔记。共 86 页。 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 信号的函数表示与系统分析方法 连续时间系统的时域分析 连续信号的傅里叶分析 连续时间系统

数信息论

考研数字信号处理

摘要: 2014 考研专业课，数字信号处理笔记。共 99 页。 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 离散时间信号与系统 Z变换 连续时间信号的采样 线性时不变系统的变换分析 离散时间系统

数信息论

常用傅里叶变换,拉普拉斯变换,卷积和,z变换

摘要: 常用傅里叶变换,拉普拉斯变换,卷积和,z变换的速查表 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 傅里叶变换 拉普拉斯变换 卷积和 离散时间傅里叶变换(DTFT) 罗朗级数 z变换

2021
数信息论

互信息

摘要: 互信息 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 互信息的定义对于两个随机变量 X 和 Y，如果其联合分布为 p(x, y)，边缘分布为 p(x), p(y)，则互信息定义为 I(X;

数信息论

KL散度(相对熵)

摘要: KL散度 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings KL散度(相对熵)KL(Kullback-Leibler)散度是一种衡量分布间的相似性的指标，从信息论的角度看，KL散度是信息增益或相

AI模型无监督

KMeans的矢量量化应用

摘要: KMeans 的一个应用：矢量量化 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings K-Means聚类最重要的应用之一是非结构数据(图像,声音)上的矢量量化(VQ)。非结构化数据往往占用比较多

2020
数信息论

base64编码的原理与实现

摘要: Base64 编码的原理、实现与应用 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 本文我们学习一下 Base64 编码的原理与实现，给出一个代码模板，并用代码模板解决力扣 535. Tin

数信息论

信道纠错码的辅助：格雷码的原理与算法

摘要: 格雷码的枚举和计算，异或与动态规划 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 在通信中，由于信息码元序列是一种随机序列，接收端无法预知码元的取值，也无法识别其中有无错码。所以在发送端需要

数信息论

k叉哈夫曼树

摘要: K叉哈夫曼树的链式实现，字符串编码解码的应用 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 在文章 哈夫曼树与哈夫曼编码 中学习了二叉哈夫曼树与哈夫曼编码的原理，并给出基于数组实现的代码模

算法基础算法

模拟哈夫曼建树过程的贪心合并问题

摘要: 模拟哈夫曼树建树过程的贪心算法 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 在文章 贪心-哈夫曼编码 和 k叉哈夫曼树 中，我们分别学习了 2 叉哈夫曼树和 K 叉哈夫曼树。 建树的过程

数信息论

数据压缩

摘要: 本文总结了 leetcode 上的数据压缩相关的题目 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 数据压缩的背景 相似的概念：序列化，序列化/反序列化，编码/解码(加密/解密)，压缩/解

算法字符串

比较简单的两种字符串的编码与解码

摘要: 字符串的编码解码，分隔符、分块编码 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 在文章 哈夫曼树与哈夫曼编码 和 k叉哈夫曼树 中，我们学习了 2 叉和 k 叉哈夫曼树和哈夫曼编码，并用于

数信息论

哈夫曼树与哈夫曼编码

摘要: 二叉哈夫曼树的数组实现，字符串编码解码的应用 【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】我的网站：潮汐朝夕的生活实验室我的公众号：算法题刷刷我的知乎：潮汐朝夕我的github：FennelDumplings我的leetcode：FennelDumplings 本文我们学习一下二叉哈夫曼树与哈夫曼编码的原理，并给出基于数组实现的代码模板，并用代码模板解决力扣