摘要:信息论与编码课程已成为信息类相关专业的主干专业基础课程。文章介绍信息论与编码课程的教学内容,分析了课程的特点。在论述信息论与编码理论课程的教学特点的同时,对课程的理论教学和实践教学给出了几点体会。
关键词:信息;信息论;编码理论;教学实践
信息科学是研究信息的获取、传输以及应用的科学,是信息资源与技术开发及其推广应用的理论基础,是信息技术及信息产业的核心。与信息科学、信息技术及信息产业相关的专业主要有通信工程、电子信息工程、信息与计算机科学、计算机应用等众多专业。在这些专业的培养计划中,《信息论与编码》这门课程具有承上启下的作用。前需课程有信号与系统、模拟电路和数字电路,这些相关课程的开设对学生正确理解信息论与编码理论的有关内容有着重要的帮助;另一方面,在修完信息论与编码课程之后,可以继续开设数字图像处理、数字视频技术等课程,拓展学生的知识面。本文就讲授信息论与编码的实际经验谈谈自己的教学体会,希望能对通信专业、信息工程类专业的发展有着一定的促进作用。
一、信息论与编码课程的教学内容及特点
《信息论与编码》课程承上启下的特点决定了该课程是通信工程和信息工程类专业的高年级本科生或研究生修习的专业课,其开设日渐广泛,重要性也不容质疑。
(一)信息论与编码课程的教学内容
信息论的奠基人——美国科学家香农于1948年在贝尔系统技术杂志上发表了著名的《通信的数学理论》[1]。差不多与此同时,美国另一位数学家诺伯特.维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中,他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题,并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果,建立了比较完整而系统的信息理论,这就是香农信息论,也叫狭义信息论,也是课程的教学内容。
课程的教学内容主要有如下几块:
.信息的统计度量、离散信源、离散信道和信道容量
.无失真信源编码、有噪信道编码和限失真信源编码
.信道编码理论
. 密码学
信息论以概率论为工具,刻画了信源产生信息的数学模型,导出了度量信息的数学公式;描述了信道传输信息的过程,给出了表征信道传输能力的容量公式;建立了一组信息传输的编码定理,论证了信息传输的一些基本界限。这些成果的取得,一方面使通信技术从经验走向科学,是通信科学发展史上的一个转折点,开辟了通信科学的新纪元。同时,也为整个信息科学的形成和发展奠定了必要的理论基础。
编码理论与信息论一脉相承,它以信息论基本原理为理论依据,讲述编码的理论知识和实现方法。这部分内容实践性强,其中的信道编码即纠错码、无失真和限失真信源编码即压缩编码理论等,在通信、计算机通信和数字视频技术等工程实践中都得到了广泛的应用。
(二)课程的特点
首先,信息论部分的理论性很强。信息论部分具有浓厚的数学气息,前期除了需要有专业通信知识外,还需要深厚的概率论、随机过程和数理统计基础。这些基础在论述香农的三大定理时都是必不可少的。
其次,编码部分的实用性很强。目前非常流行的压缩编码就属于信源编码的范畴,它被广泛应用在视频、语音和图像压缩等方面。
最后,课程的基础性很强,符合复合型人才培养的“厚基础、宽口径、大专业”的要求。在信息爆炸的21世纪,信息已经渗透到社会的各个方面。不仅仅是站在信息前沿的通信和计算机科学,其它如自动控制、医学、经济学、管理学、量子信息和光学信息等领域信息论也大显身手。
二、多思路、少推导
信息论部分是围绕着香农的狭义信息论的,主要是基本概念和定理的推导。如果详细地介绍每个定理,有限的教学课时使得教学中必须注重思路的传授,而不是详细的推导过程。例如率失真函数和信道容量的概念都是基于互信息的,都是互信息的条件极值,它们的物理含义完全不同。率失真函数是R(D)是在给定的输入下,互信息I(X,Y)关于假想信道的极小值;信道容量C是在给定的信道下,互信息I(X,Y)关于输入符号的概率分布P(X)的极大值。如用数学方式描述,则是三个量分别在不同的已知条件下求解的条件极值的问题。而这类问题在高数中有经典的求解方法,如拉氏乘子法等。
另外如信源编码中,无失真和限失真信源编码定理的证明都用到了渐进等同分割性等,在证明中均可给出思路,具体到每一步的推导教材上有介绍。鉴于课堂授课时间有限,不可能一点点的板书推导,但又必须向学生交代明白,不妨结合实例给出多个求解思路,指出其中的数学知识点,而少些枯燥的推导。
三、采用多媒体辅助教学,增加课堂信息量,增进师生交流
多媒体教学通过文字、声音、图像、动画和视频等多种媒体呈现方式提供教学信息,从而具有形象性、多样性、新颖性、趣味性、直观性、丰富性等特点。它能展现与传统教学形式不同的生动性和海量信息性,而且丰富、生动的多媒体课件的灵活应用,可激发学生的兴趣,延长并保持学生的兴奋点。
多媒体教学弥补了传统教学方式的不足,提供了一个师生平等交流的生动平台。多媒体网络系统具有很强的人机交互功能,提供了一个信息交流的平台,教师与学生、学生与学生能平等的对话。教师可以通过网络界面向网络中的学生规定学习任务或提出有待解决的问题,也可通过由学生反馈回来的信息随时对学生进行引导,让学生的注意力集中在与解决问题最直接的相关问题上。而且在这种教学模式中,学生与学生之间也能进行直接的交互,能通过网络空间交流信息,发表个人的不同观点,分析评价他人的看法,充分发挥了学习者的主观能动性,其个性得以完全的施展。
四、加强实践性教学环节
在验证性实验的基础上,开展综合性、设计性实验,逐步实现开放性实验。
目前,常用的仿真软件有Matlab、SystemView等。使用仿真软件只需要简单地编程即可演示编码的过程。另外,采用诸如Visual C、Delphi等开发工具,实现设计性实验。
(1)验证性实验
按如图1所示,设计演示程序,使学生熟悉通信的基本过程,加深对信源编码、信道编码和加解密的理解。目前,我院建设的多媒体通信专业实验室提供了数字音、视频的实验模块,已开出相关实验项目。实验安排从以下几个部分来考虑:
.信源编码:无失真和限失真信源编码即压缩编码。
.信道容量:主要包括二进制信道和高斯信道容量的计算,充分理解信道容量和带宽的关系。
.信道编码:主要有简单重复编码、线性分组码和卷积码的编码方法,及这三种编码中的错误概率问题。
图1 通信系统的基本模型
(2)设计性实验
设计性实验需要学生自己动手,完成如下编码:
.压缩编码
压缩编码的设计性实验课可选择经典的Huffman编码。Huffman编码是消除编码冗余最常用的技术,对信源符号逐个编码时,能给出平均码长最短的码字。
.校验码
校验码中,CRC循环冗余校验码实现简单、检错能力强,应用广泛。在设计性实验环节中,让学生完成CRC-16的实现。
.加、解密算法
信息安全方面,可以完成RSA算法的软件实现。RSA算法,是目前较流行的一种非对称加、解密方法。
结语
最后,信息技术是一门“大学科”,涵盖范围广,涉及的专业领域多、内容多样,因而强调广而全是几乎不可能的。通过信息论与编码理论的学习,选择几个典型的信息技术方向,作为所学信息科学的应用领域,使得学生对信息科学有一个较为直观的了解。课堂的教学只是一个方面,更多的是需要学生根据不同的信息技术方向并结合自己的兴趣,作进一步的努力,才能更大地发挥自己的能力。
参考文献:
[1] Shannon C E. A Mathematal Theory of Communication [J].The Bell System Technical,1948(27):379-423
[2]傅祖芸.信息论——基础理论与应用[M].北京:电子工业出版社,2002.
[3] 曹雪虹.信息论与编码[M].北京:清华大学出版社,2003.
[4] 吴伟陵.信息处理与编码[M].北京:人民邮电出版社,2005.
