当前位置:信息论精品课程网站  > 课程资料  > 教学文件  > 正文

考试大纲

数学系《信息论基础》课程考试大纲(试行)

 

一、课程内容

1. 随机变量的信息度量

2. 随机过程的信息度量和渐近等分性

3. 数据压缩和信源编码

4. 数据可靠传输和信道编码

5. 限失真信源编码和率失真函数

6. 连续信源和信道编码理论

7. 网络信息理论

二、学习目的和要求

《信息论基础》以下简称“信息论”是为电子信息类各专业开设的必修基础课,人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是,迈入21世纪-----高度的信息化时代,信息的重要性更是不言而喻。所以,现在人们对于信息论的基本理论已不再感到陌生,抽象及难以理解和掌握。信息论正是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输和处理中一般规律的学科。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性,以使信息系统最优化。所以,学习和掌握信息论越来越受到人们的重视和需求。随着现代信息技术水平的迅猛发展和提高,信息论的一些基本理论,如:信道编码即纠错码理论、无失真和限失真信源编码即数据压缩原理等,在通信、计算机通信、数字影像等工程实践中都得到广泛的应用。甚至,日常生活娱乐中如数字激光影碟机、数字家庭音像系统等都普遍采用了纠错码技术和数据压缩技术。

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科,是专门研究信息的有效处理和可靠传输的一般规律的学科。本书共分7章,内容包括:随机变量的信息度量;随机过程的信息度量;数据压缩和信源编码;数据可靠传输和信道编码;限失真数据压缩和率失真理论;网络信息理论;信息论应用等。既包括了信息论的基本理论,也涉及了一些信息处理的算法及信息论在其他领域的应用。

三、考核知识点与考核要求

第一章    随机变量的信息度量

1. 信息度量的基本概念要求达到“识记”层次。

1.1  自信息的定义

1.2  熵、联合熵、条件熵的有关定义及概念

1.3  相对熵和互信息概念

2. 信息量的一些基本性质及广义熵要求达到“领会”的层次。

2.1  信息量的一些基本性质

2.2  广义熵

3. 熵、条件熵和互信息要求达到“掌握”的层次。

3.1  熵、条件熵的概念及简单应用

3.2  相对熵和互信息

4. 熵、条件熵、联合熵和互信息达到“简单应用”的层次。

4.1  条件熵的应用

4.2  熵和互信息

第二章  随机过程的信息度量和渐近等分性

1. 信源和随机过程的一些基本概念要求达到“识记”层次。

1.1  信源和随机过程的一些基本概念

2. 随机过程信息度量要求达到“领会”和“简单应用”层次。

2.1  熵率,条件熵率,相对熵率,互信息率等概念

2.2  如平稳过程、马氏过程等

3. 随机过程信息度量要求达到“掌握”层次。

3.1  熵率,条件熵率,相对熵率,互信息率等概念

3.2  如平稳过程、马氏过程等

4. 申农—麦克米兰—布瑞曼(Shannon-McMillan-Breiman)定理达到“简单应用”层次。

4.1  渐近等分性在数据压缩中的简单应用

第三章  数据压缩和信源编码

1. 等长码、不等长码、哈夫曼(Huffman)码、申农一法诺一艾利亚斯(Shannon-Fano-Elias)码的定义要求达到“识记”的层次。

1.1  等长码、不等长码的定义

1.2  哈夫曼(Huffman)码、申农一法诺一艾利亚斯(Shannon-Fano-Elias)码的定义

2. 用等长码、不等长码、哈夫曼(Huffman)码、申农一法诺一艾利亚斯     (Shannon-Fano-Elias)码进行编码要求达到“领会”的层次。

2.1  用等长码、不等长码进行编码

3. 等长码、不等长码、哈夫曼(Huffman)码、要求达到“掌握”的层次。

3.1  哈夫曼(Huffman)码

3.2  申农—法诺码

3.3  自适应算术码

4. 要求达到“简单应用”的层次。

4.1  哈夫曼(Huffman)码

4.2  申农—法诺码

4.3  自适应算术码

5. 算术码(自适应算术码)通用信源编码(LZ算法) LZW(LempeL-  Ziv-Welch) 算法、Kieffer-Yang算法(基于语法的普适信源压缩算法)达到“领会”的层次。

第四章  数据可靠传输和信道编码

1. 离散无记忆信道和信道容量、信道编码定理要求达到“识记”层次。

1.1  离散无记忆信道的概念

1.2  信道容量的定义

1.3  信道编码定理的有关概念

2. 数据可靠传输和信道编码要求达到“领会”层次。

2.1  离散无记忆信道的概念

2.2  信道容量的定义

2.3  信道编码定理的有关概念

3. 离散无记忆信道和信道容量、信道编码定理要求达到“掌握” 层次。

3.1   拉格朗日乘子法

3.2  信道容量的迭代算法

4. 离散无记忆信道和信道容量、信道编码定理要求达到“简单应用” 层次。

4.1  联合典型序列

4.2  带反馈的信道模型

4.3  联合信源—信道编码定理.

第五章  限失真信源编码和率失真函数

1. 限失真信源编码模型和率失真函数要求达到“识记”层次。

1.1  限失真函数的有关概念和性质

2. 限失真信源编码模型和率失真函数要求达到“领会”层次。

2.1  信源编码的性质

2.2  信源编码定理

3. 限失真信源编码模型和率失真函数要求达到“简单应用”和“掌握”层次。

3.1  限失真信源编码定理及应用

3.2  拉格朗日乘子法

3.3  迭代算法

3.4  函数的计算方法

第六章  连续信源和信道编码理论

1. 连续随机变量、随机过程的信息度量、连续信源和信道编码理论要 求达到“识记”层次。

1.1  可微熵的定义

1.2  相对熵和互信息的有关概念

1.3  连续信源的率失真函数

2. 连续随机变量、随机过程的信息度量、连续信源和信道编码理论要求达到“领会”层次。

2.1  连续信源的率失真函数率失真函数和失真率函数

2.2  高斯信源的率失真函数

2.3  一般连续信源的率失真函数

3. 连续随机变量、随机过程的信息度量、连续信源和信道编码理论要求到“简单应用”和“掌握”层次。

3.1  高斯信道

3.2  有加性噪声的信道模型和信道容量续信源的率失真函数

3.3  复合高斯信道和平稳高斯信道

第七章  网络信息理论

1. 网络信息理论要求达到“识记”层次。

1.1  网络通信模型的概念

1.2  多变量联合典型序列

2. 网络信息理论要求达到“领会”层次。

2.1  二址信道模型和编码定理

2.2  多址信道容量区域的计算

3. 网络信息理论要求达到“掌握”层次。

3.1  二址信道模型和编码定理

3.2  多址信道容量区域的计算

3.3  高斯多址信道

3.4  Slepian-Wolf模型

4. 网络信息理论要求达到“简单应用”层次。

4.1  二址信道模型和编码定理

4.2  多址信道容量区域的计算

4.3  相关信源和多址信道复合编码问题

4.4  多变量联合典型序列(AEP)

     

 

  




上一篇:教材及参考书       下一篇:课程考核要求

相关内容