课程概述

本课程是研究信息传输和信息处理的基础理论，是通信工程、信息工程、信息安全、空间信息与数字技术等专业的一门专业基础课。本课程围绕通信系统的需求阐述信息论的理论理论，包括信息及其度量、信道及其容量、无失真信源编码、率失真理论与各类编码定理等。通过课程学习，使学生能够较深刻地理解信息传输的基本理论，初步建立信息传输系统的整体概念，为后续专业课学习打下坚实的理论基础。　

证书要求

1.     认真观看学习MOOC视频课件、学习材料等

2.     完成作业和练习

3.     学习情况和作业情况等作为平时成绩依据

4.     有问题可在MOOC讨论区进行交流讨论


预备知识

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科，也是通信与信息系统学科的一门专业基础课程，在基础课和专业课之间起承上启下作用，因此本课程需要先修概率论与数理统计、随机过程、信号与系统等课程。

 


授课大纲

1.绪论

导引

1.1 信息论的对象与方法

1.2 信息论的主要研究内容

1.3 Shannon信息的定义

1.4 Shannon的大师风范

第一章单元测试

2.信息量与熵

导引

2.1 离散变量的非平均自信息

2.2 离散集的平均自信息-熵

2.3 离散集的平均互信息

2.4 连续随机变量的微分熵

2.5 连续随机变量的互信息

第二章单元测试

3.信源及其信息测度

导引

3.1 离散无记忆信源的数学模型

3.2 离散无记忆信源的信息测度

3.3 离散有记忆信源的信息测度

3.4 连续信源的数学模型及其信息测度

第三章单元测试

4.信道及其容量

导引

4.1 信道的数学模型及分类

4.2 信道及其容量

4.3 离散无记忆信道的容量

4.4 组合信道的容量

4.5 时间离散的连续信道的容量

4.6 波形信道的容量

第四章单元测试

5.无失真信源编码理论

导引

5.1 DMS等长编码

5.2 DMS不等长编码

5.3 Huffman编码

5.4 算术编码

5.5 LZ编码

第五章单元测试

6.信道编码理论

导引

6.1 信道编码基本概念

6.2 译码准则

6.3 信道编码定理

6.4 分组码基本概念

6.5 线性分组码之代数基础

6.6 线性分组码

第六章单元测试

7.率失真理论

导引

7.1 率失真函数的定义

7.2 率失真函数的性质

7.3 率失真函数的计算

7.4 率失真函数的参量描述

7.5 连续信源的率失真

第七章单元测试

参考资料

教材：

《信息论与编码》. 冯桂、周林主编. 清华大学出版社. ISBN 9787302424277

参考书：

            《信息论与编码理论》，王育民、李晖编，高等教育出版社

            Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press,