信息论与编码理论
分享
课程详情
课程评价
spContent=信息论是信息科学中最成熟、最完整、最系统的一部分,以新颖的思路和高效解决问题的方法显示出其魅力,同时为信息编码技术的发展创造有利环境。随着社会信息化的不断深入,信息论与编码理论已经渗透到许多领域,因此信息论与编码理论是高层次信息技术人才所需掌握的必不可少的基础知识。
—— 课程团队
课程概述

本课程是研究信息传输和信息处理的基础理论,是通信工程、信息工程、信息安全、空间信息与数字技术等专业的一门专业基础课。本课程围绕通信系统的需求阐述信息论的理论理论,包括信息及其度量、信道及其容量、无失真信源编码、率失真理论与各类编码定理等。通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念,为后续专业课学习打下坚实的理论基础。 

授课目标

  通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念以及信源编码、信道编码的基本概念和方法,为后续专业课学习打下坚实的理论基础。 


课程大纲

(一) 绪论(3学时)

1.         基本要求

(1)       掌握消息、信息和信号的基本概念

(2)       明确信息论的研究对象、研究目的和研究内容

(3)       掌握通信系统模型

(4)       了解信息论的发展及研究现状

2.         重点与难点

(1)       重点:通信系统模型的构成及其相应功能

(2)       难点:Shannon信息论要解决的中心问题

3.         作业及课外学习要求

(1)       数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt

(2)       信息论与通信、密码、信息隐藏(一)

http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏(一).ppt

(3)       信息论与通信、密码、信息隐藏(二)

http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏(二).ppt

(4)       清华大学朱雪龙从通信与信号处理观点看信息论研究与应用中的若干问题”  http://202.117.112.49/xxl2/dzjiaoan/sponit.mht

 

(二) 信息量和熵(5学时)

1.         基本要求

(1)       掌握离散集的熵、平均互信息的基本概念及其性质

(2)       掌握连续集的微分熵和平均互信息的基本概念及其性质

(3)       掌握平均互信息的凸性

(4)       理解信息处理定理

2.         重点与难点

(1)       重点:熵和平均互信息的基本概念及其性质

(2)       难点:熵和平均互信息的物理含义、如何对实际问题进行建模,应用熵和平均互信息的基本概念解决实际问题

3.         作业及课外学习要求

熵、平均互信息、微分熵的计算、信息处理定理等应用

(三) 离散信源无失真编码(4学时)

1.         基本要求

(1)       掌握离散无记忆信源等长编码的基本概念

(2)       掌握离散无记忆信源不等长编码的基本概念

(3)       掌握离散无记忆信源无失真编码定理

(4)       掌握Huffman编码

(5)       理解算术编码和LZ编码基本原理

2.         重点与难点

(1)       重点:无失真等长编码的充要条件、唯一可译码的基本概念、craft不等式、无失真信源编码定理

(2)       难点:典型序列的基本概念及其性质

3.         作业及课外学习要求

等长编码和不等长编码基本概念、无失真信源编码定理的应用

(四) 信道容量(4学时)

1.         基本要求

(1)       掌握信道的分类、信道容量的基本概念

(2)       掌握离散无记忆信道和组合信道的信道容量计算

(3)       掌握平均功率受限的可加高斯噪声信道和平行可加高斯信道的容量

(4)       掌握高斯白噪声波形信道的容量

2.         重点与难点

(1)       重点:信道容量的基本概念、一些特殊信道的信道容量计算

(2)       难点:信道的数学描述方法及其容量计算、注水定理、Shannon公式的应用

3.         作业及课外学习要求

信道容量的计算、注水定理、Shannon公式应用

(五) 离散信道编码定理(2学时)

1.         基本要求

(1)       掌握三种译码准则:最小错误概率译码、最大后验概率译码和最大似然译码

(2)       理解联合典型序列基本概念

(3)       理解离散信道编码定理

2.         重点与难点

(1)       重点:最大后验概率译码与最大似然译码、离散信道编码定理

(2)       难点:Fano不等式、离散信道编码定理

3.         作业及课外学习要求

 译码准则、离散信道编码定理的应用

(六)线性分组码(4学时)

1.         基本要求

(1)       掌握分组码编码基本原理

(2)       掌握线性分组码的生成矩阵、一致校验矩阵以及伴随式的基本概念

(3)       掌握线性分组码的标准阵列译码方法

2.         重点与难点

(1)       重点:掌握生成矩阵、一致校验矩阵及它们之间的关系、最小汉明距离与纠检错能力之间的关系

(2)       难点:线性分组码标准阵列译码基本原理、平均错误译码概率及漏检概率计算

3.         作业及课外学习要求:

 线性分组码的编译码原理及应用

(七) 信源编码——无记忆信源的有失真编码(2学时)

1.         基本要求

(1)       掌握平均失真度、信息率失真函数基本概念

(2)       理解率失真函数的计算

(3)       理解离散无记忆信源限失真编码定理

2.         重点与难点

(1)       重点:率失真函数的定义及其性质

(2)       难点:率失真函数的计算、离散无记忆信源限失真编码定理

3.         作业及课外学习要求:

平均失真度、率失真函数的计算

 

序号

标题

知识点

1

信息论的对象与方法

信息论研究对象、信息论研究内容、信息论研究方法

2

Shannon信息的定义

自信息量

3

通信系统模型

通信系统模型

4

信息消息信号

信息、消息、信号

5

信息论的发展

信息论的发展

6

Shannon简介

Shannon简介

7

非平均自信息

互信息

8

离散集平均自信息

信息熵

9

熵的可加性与凸性

熵的可加性、熵的凸性

10

熵的极值性

离散最大熵定理

11

离散有记忆信源的信息测度

极限熵、信源冗余度

12

离散集平均互信息

平均互信息

13

信息处理定理

信息处理定理

14

互信息的凸性

离散集平均互信息的凸性

15

连续随机变量的熵

连续熵

16

相对熵的极大化

最大连续熵定理

17

连续随机变量的互信息

连续集平均互信息的凸性

18

DMS等长编码

等长编码

19

典型序列基本概念

典型序列

20

DMS等长编码定理

等长编码定理

21

DMS不等长编码

不等长编码

22

Kraft不等式

Kraft不等式

23

不等长编码定理

不等长编码定理

24

最佳不等长编码

Huffman编码

25

Huffman编码最佳性

Huffman编码最佳性

26

算术编码

算术编码

27

LZ编码

LZ编码

28

信道的数学模型及其分类

信道的数学模型、信道的分类

29

信道与信道容量

信道容量

30

离散无记忆信道的容量计算

离散无记忆信道的容量计算

31

对称信道的容量

对称信道的容量

32

可逆矩阵信道的容量计算

可逆矩阵信道的容量计算

33

组合信道的容量

组合信道的容量

34

平均功率受限的可加高噪声信道的容量

平均功率受限的可加高噪声信道的容量

35

注水定理

注水定理

36

Shannon公式

Shannon公式

37

分组码基本概念

分组码

38

最佳译码准则

最佳译码准则

39

Fano不等式

Fano不等式

40

信道编码定理

信道编码定理

41

代数基础

群、域、线性空间

42

线性分组码基本概念

线性分组码及其生成矩阵、一直校验矩阵

43

线性分组码的编码和译码

线性分组码的编码和译码

44

汉明码

汉明码

45

率失真函数的定义

率失真函数

46

率失真函数的基本性质

率失真函数的基本性质

47

率失真函数的计算

率失真函数的计算

48

率失真函数的参量表述

率失真函数的参量表述

预备知识

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科,也是通信与信息系统学科的一门专业基础课程,在基础课和专业课之间起承上启下作用,因此本课程需要先修概率论与数理统计、随机过程、信号与系统等课程。

 


证书要求

课程成绩总计100分,其构成如下:

1.章节测试:40%

2.课程讨论:10%

2.期末考试:50%

课程成绩按百分制计分,60分以上为合格。

参考资料

推荐教材:

《信息论与编码理论》,王育民、李晖编,高等教育出版社

参考书:

[1] 王新梅、肖国镇编,《纠错码——原理与方法》,西安电子科技大学出版社,2001.

[2] Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press, 2003.11.

[3] Robert J. McEliece, The Theory of Information and Coding, 2nd Edition. Cambridge: Cambridge University Press, 2002.