(一)信息论的研究历程

信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。信息论的创始人是美国贝尔电话实验室的数学家香农，他为解决通信技术中的信息编码问题，大胆突破，把发射信息和接收信息作为一个整体的通信过程来研究，提出了通信系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年，香农发表的《通讯的数学理论》一文，成为信息论诞生的标志。

香农创立信息论，是在前人研究的基础上完成的。1922年，卡松提出边带理论，指明信号在调制(编码)与传送过程中与频谱宽度的关系。1928年，哈特莱发表《信息传输》一文，首先提出消息是代码、符号，而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。英国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论做过研究。控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论的创始人之一。在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家布里渊1956年出版《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦妖”的问题得到了满意的解释。英国神经生理学家艾什比1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通信的范围。

20世纪70年代，计算机的广泛应用、通信能力的极大提高，有效处理和应用信息的问题被提出，一些学者提出效用信息论、信息过程论、信息仪式论、信息崇拜论、信息经济论、信息社会论等各种观点，信息论已经发展到足以使整个学科必须重新建立自己的理论的程度，全新的信息论体系和信息研究正处于一个巅峰期。^[7]

(二)信息论的研究范围

信息论除了研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容外，还研究语义信息、有效信息和模糊信息等方面的问题。因此，信息论可以分成两种：狭义信息论与广义信息论。

1.以编码为研究中心的信息论

主要研究信息系统模型、信息的度量、信息的容量、信息统计特性、信源编码和信道编码等引发信息论的核心问题。

2.以信号为研究中心的信息论(www.daowen.com)

主要研究信号噪声的统计分析、信号的检测、滤波、估计与预测等。

3.以信息处理为研究中心的信息论

主要研究以计算机为中心的信息处理，包括语言、文字、图像等的模式识别、自动翻译等。在基本理论与实践领域，信息论不断取得新的进展，如模糊信息论、相对信息论、算法信息论、主观信息论，以及信息处理、自动化信息控制等。

(三)信息论的主要贡献

信息论为控制论、自动化技术和现代化通信技术奠定了理论基础，为研究大脑结构、遗传密码、生命系统和神经病理开辟了新的途径，为管理的科学化和决策的科学化提供了思想武器。现代信息论的出现，对现代通信技术和电子计算机的设计产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。其主要贡献具体体现在以下三个方面：

第一，在通信的定义下，把信息定义为“用来消除信息接收者某种认识上的不确定性的东西”，并导出了概率性语法信息的度量公式——概率熵和互信息公式。

第二，建立了一些重要的性能界限：信源的最大可能信息量，为了满足一定失真度的要求必须传递的最小信息量，信道上的最大可能通过能力等。

第三，建立了一套重要的编码定理，从而从理论上指明了实现上述性能界限应当遵循的信息处理方法与原则。这就不仅从定性方面，也从定量方面深刻揭示了信息的传递和处理的规律，使通信的研究从经验的阶段转向了科学的研究阶段。