信息论与编码理论
分享
课程详情
课程评价
spContent=信息论是信息科学中最成熟、最完整、最系统的一部分,以新颖的思路和高效解决问题的方法显示出其魅力,同时为信息编码技术的发展创造有利环境。随着社会信息化的不断深入,信息论与编码理论已经渗透到许多领域,因此信息论与编码理论是高层次信息技术人才所需掌握的必不可少的基础知识。
—— 课程团队
课程概述

本课程是研究信息传输和信息处理的基础理论,是通信工程、信息工程、信息安全、空间信息与数字技术等专业的一门专业基础课。本课程围绕通信系统的需求阐述信息论的理论理论,包括信息及其度量、信道及其容量、无失真信源编码、率失真理论与各类编码定理等。通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念,为后续专业课学习打下坚实的理论基础。 

授课目标

  通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念以及信源编码、信道编码的基本概念和方法,为后续专业课学习打下坚实的理论基础。 


课程大纲

第一章   绪论

第2讲   Shannon信息的定义

第1讲  信息论的对象与方法

第一章单元测试

第二章 信息量和熵

第10讲 相对熵的极大化

第8讲  互信息的凸性

第11讲 连续随机变量的互信息

第5讲 离散有记忆信源的信息测度

第3讲  熵的可加性与凸性

第4讲 熵的极值性

第7讲  信息处理定理

第1讲 离散变量非平均自信息量

第6讲 离散集平均互信息

第9讲 连续随机变量的熵

第2讲 离散集平均自信息-熵

第二章单元测试

第三章 离散信源无失真编码

第2讲 典型序列基本概念

第4讲 DMS不等长编码

第9讲 算术编码

第6讲 不等长编码定理

第3讲 DMS等长编码定理

第10讲 LZ编码

第7讲 最佳不等长编码

第5讲 Kraft不等式

第8讲 Huffman编码最佳性

第1讲 DMS的等长编码

第三章单元测试

第四章 信道容量

第8讲  平均功率受限的可加高噪声信道的容量

第4讲  对称信道的容量

第9讲  注水定理

第5讲  可逆矩阵信道的容量计算

第6讲  组合信道的容量

第1讲 信道的数学模型及分类

第2讲 信道与信道容量

第7讲  shannon公式

第3讲 离散无记忆信道的容量计算

第四章单元测试

第五章 离散信道编码定理

第五章单元测试

第3讲  Fano不等式

第2讲 最佳译码准则

第4讲  信道编码定理

第1讲 分组码基本概念

第六章 线性分组码

第六章单元测试

第1讲 代数基础

第3讲 线性分组码的编码和译码

第2讲 线性分组码基本概念

第4讲 汉明码

第七章  信源编码——无记忆信源的有失真编码

第3讲 率失真函数的计算

第2讲  率失真函数的基本性质

第1讲 率失真函数的定义

第七章单元测试

预备知识

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科,也是通信与信息系统学科的一门专业基础课程,在基础课和专业课之间起承上启下作用,因此本课程需要先修概率论与数理统计、随机过程、信号与系统等课程。

 


证书要求

课程成绩总计100分,其构成如下:

1.章节测试:40%

2.课程讨论:10%

2.期末考试:50%

课程成绩按百分制计分,60分以上为合格。

参考资料

推荐教材:

《信息论与编码理论》,王育民、李晖编,高等教育出版社

参考书:

[1] 王新梅、肖国镇编,《纠错码——原理与方法》,西安电子科技大学出版社,2001.

[2] Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press, 2003.11.

[3] Robert J. McEliece, The Theory of Information and Coding, 2nd Edition. Cambridge: Cambridge University Press, 2002.