信息论 ¶
约 242 个字 预计阅读时间 1 分钟
信息论简介
- 信息论的发展历史
- 信息论的应用领域
信息的度量 ¶
- 信息量的定义（自信息）
- 信息熵（Shannon Entropy）
- 联合熵、条件熵
- 互信息（Mutual Information）
- 相对熵（Kullback-Leibler 散度）
信源编码 ¶
- 信源模型
- 香农第一定理（信源编码定理）
- 常用编码方法（如 Huffman 编码、Shannon-Fano 编码、算术编码）
信道与信道容量 ¶
- 信道模型
- 信道的分类（无噪声信道、有噪声信道、二元对称信道等）
- 信道容量的定义与计算
- 香农第二定理（信道编码定理）
纠错编码 ¶
- 差错检测与纠正
- 线性分组码（如汉明码、循环冗余校验 CRC）
- 卷积码与涡轮码