信息论从诞生到今天,已有60多年历史,它在长期的通信工程实践和理论研究的基础上逐渐发展,已成为一门独立的理论科学。通信系统是人类社会的神经系统。纵观100多年电通信系统(电信系统)的发展历史,一个很有意义的事实是:一旦物理学中的电磁理论以及电子学理论有某些进展,很快就会促进电信系统的创造发明或改进。

1820—1830年法拉第(M.Faraday)发现电磁感应的基本规律后,不久莫尔斯(F.B.Morse)就建立起电报系统。1876年,贝尔(A.G.Bell)又发明了电话系统。

1864年麦克斯韦(Maxell)预言了电磁波的存在,1888年赫兹(H.Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A.C.Popov)发明了无线电通信系统。

1907年福雷斯特(Lee de Forest)发明能把电磁波进行放大的电子管之后,出现了远距离无线电通信系统。大功率超高频电子管的发明则促成了电视广播系统的建立(1925—1927年)。之后,随着微波电子管的出现,在30年代末和40年代的第二次世界大战初期,微波通信系统、微波雷达等得到迅速发展。

20世纪50年代后期发明的量子放大器,60年代初发明的光技术,使人类进入了光纤通信的时代。

现代信息论的理论研究可以认为开始于20世纪20年代奈奎斯特和哈特莱的工作。

1832年莫尔斯电报系统中的高效率编码方法对后来香农的编码理论是有启发的。

1885年凯尔文(L.Kelvin)曾经研究过一条电缆上的极限传信问题。

1922年卡逊(J.R.Carson)对调幅信号的频谱结构做了研究,并明确了边带的概念。

1924年奈奎斯特(H.Nyquist)的“影响电报速率因素的确定”一文,1928年哈特莱(R.V.Hartley)的“信息传输”一文研究了通信系统传输信息的能力,并给出了信息度量的初步方法。

1936年阿姆斯特朗(E.H.Armstrong)提出增加信号带宽可以增强系统抑制噪声干扰的能力,推动了调频通信的发展。

20世纪40年代初期,维纳把随机过程和数理统计的观点引入通信和控制系统中,揭示了信息传输和处理过程的统计本质。他还利用自己在30年代提出的广义谐波分析理论对信息系统中的谐波过程进行谱分析。

信息论产生后的重要发展:

信道编码定理:1952年费诺(R.M.Fano)给出并证明了费诺不等式,并给出了关于香农信道编码逆定理的证明。1961年费诺描述了分组码的码率、码长和错误概率的关系,并提供了香农信道编码定理的充要性证明。1965年格拉格尔(R.G.Gallager)提供了更为简明的证明方法。1972年阿莫托(S.Arimoto)和布莱哈特(R.Blahut)分别发展了信道容量的迭代算法。

信道容量:1964年霍尔辛格(J.L.Holsinger)继续香农的工作,开展对有色高斯噪声信道容量的研究。1969年平斯克(M.S.Pinsker)提出了具有反馈的非白噪声高斯信道容量问题,并由科弗尔(T.M.Cover)在1989年证明。

无失真信源编码:1952年费诺提出了一种费诺码,同年霍夫曼(D.A.Huffman)构造了一种Huffman编码方法,并证明了它是一种最优码。1956年麦克米伦(B.Mcmillan)首先证明了唯一可译变长码的Kraft不等式。1968年艾利斯(P.Elias)在香农-费诺码的基础上提出了算术编码的初步思路。1976年瑞斯桑尼(J.Rissanen)给出了算术编码方案,并于1982年和兰登(G.G.langdon)合作将算术编码系统化,省去了乘法运算。1977年齐弗(J.Ziv)和兰佩尔(A.Lempel)提出LZ码,并证明此方法可以达到信源的熵值。1990年贝尔(T.C.Bell)对LZ算法做了一系列的改进,现已广泛用于文本的数据压缩中。(www.daowen.com)

纠错码理论:1950年汉明(R.W.Hamming)为使贝尔实验室的计算机具备有检测错误能力的运行程序,首先提出了纠正一位错误的编码方法,建立了线性分组码的基本思想。随后格雷(Marcel J.E.Golay)提出了纠正二位和三位错误的格雷码。1954年Reed和Muller提出新的分组码RM码。(1969—1977年,RM码在火星探测方面得到了极为广泛的应用。即使在今天,RM码也具有很大的研究价值,其快速的译码算法非常适合于光纤通信系统)。1957年E.Prange提出循环码,代数编码理论成型。循环码的一个非常重要的子集就是分别由Hocquenghem在1959年、Bose和Ray-Chaudhuri研究组在1960年几乎同时提出的BCH码(Bose-Chaudhuri-Hocquenghem)。

1960年Reed和Solomon将BCH码扩展到非二元的情况,得到了RS(Reed-Solomon)码。1967年,Berlekamp给出了一个非常有效的译码算法后,RS码得到了广泛的应用。此后,RS码在CD播放器、DVD播放器中得到了很好的应用。虽然分组码在理论分析和数学描述方面已经非常成熟,并且在实际的通信系统中也已经得到了广泛的应用,但分组码固有的缺陷大大限制了它的进一步发展。首先,由于分组码是面向数据块的,因此,在译码过程中必须等待整个码字全部接收到之后才能开始进行译码。在数据块长度较大时,引入的系统延时是非常大的。分组码的第二个缺陷是它要求精确的帧同步,即需要对接收码字或帧的起始符号时间和相位精确同步。

1955年Elias等人提出卷积码以改善分组码所存在的固有缺点。卷积码充分利用了各个信息块之间的相关性,编码过程连续进行。同样,在卷积码的译码过程中,不仅要从本码中提取译码信息,还要充分利用以前和以后时刻收到的码组,从这些码组中提取译码相关信息,而且译码也是可以连续进行的,这样可以保证卷积码的译码延时相对比较小。通常,在系统条件相同的条件下,在达到相同译码性能时,卷积码的信息块长度和码字长度都要比分组码的信息块长度和码字长度小,相应译码复杂性也小一些。

1961年由Wozencraft和Reiffen提出,Fano和Jelinek分别在1963年和1969年进行改进了卷积码的序贯译码算法,是基于码字树图结构的一种次最优概率译码算法。1963年Massey提出门限译码算法,利用码字的代数结构进行代数译码。1967年Viterbi提出Viterbi最优算法,是基于码字格图结构的一种最大似然译码算法。在Viterbi译码算法提出之后,卷积码在通信系统中得到了极为广泛的应用,如GSM、3G、商业卫星通信系统等。(A.J.Viterbi也是高通公司(Qualcomm)的创始人之一。高通是最早实现商用CDMA蜂窝移动系统的公司,因此Viterbi被世界公认为CDMA之父)

近年来,在信道编码定理的指引下,人们一直致力于寻找能满足现代通信业务要求,结构简单、性能优越的优秀编码方案,并在分组码、卷积码等基本编码方法和最大似然译码算法的基础上提出了许多构造优秀编码及简化译码复杂性的方法,提出了乘积码、代数几何码、低密度校验码(LDPC,Low Density Parity Check)、分组-卷积级联码等编码方法和逐组最佳译码、软判决译码等译码方法以及编码与调制相结合的网格编码调制(TCM,Trellis Coded Modulation)技术。其中级联码、软判决译码和TCM技术对纠错码的发展有较大影响。

1993年C.Berrou、A.Glavieux和P.Thitimajshima首次提出了一种新型信道编码方案-Turbo码。它很好地应用了Shannon信道编码定理中的随机性编译码条件,获得了几乎接近Shannon理论极限的译码性能。1997年Host、Johannesson、Ablov提出了编织卷级码(WCC,Woven Convolutional Code)的概念。它是一种组合码,其系统结构可完全包容传统分组码、卷级码以及各类Turbo码,结构综合了并行级联卷级码(Turbo码)和串行级联卷级码的结构特点,当外编码器个数足够多时,该码型完全拥有了Shannon编码定理中随机长码的特性,因此,其纠错性能理论上比Turbo码要优异。

最佳噪声通信系统模型:在香农理论基础上给出的最佳噪声通信系统模型近年来正在成为现实。

信号检测理论:在噪声中信号过滤与检测基础上发展起来的信号检测理论和抗干扰编码基础上发展起来的编码理论已成为现代信息论的两个重要分支。

网络信息论:1961年Shannon的论文“网络通信通道”开拓了网络信息论的研究。从70年代开始这一领域的研究十分活跃,理论日益完善。

保密理论:1976年Diffe和Hellman提出公开密钥密码体系后,保密通信问题得到广泛研究,形成综合线形代数、初等数论、矩阵、近世代数等相关内容的密码学理论分支。

新兴信息工程领域:光通信、空间通信、计算机互联网、移动通信、多媒体通信等领域的应用与理论研究。

信息科学:信息论与自动控制、系统工程、人工智能、仿生学、电子计算机等学科相互渗透结合形成的一门独立的新兴学科。信息科学以信息为主要研究对象,以信息的运动规律和利用信息的原理作为主要的研究内容,以信息科学方法论作为主要的研究手段,以扩大人类的信息功能为主要的研究目标。由于其研究对象(信息)的特征,信息科学区别于传统自然科学而具有独立存在性和广阔的发展前景。

信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。信息科学理论主要包含信息定性理论、信息定量理论和信息应用理论。信息应用技术包括信息的获取、传递、加工处理、存储等代替和延伸人的感官及大脑的信息功能的技术,可以细分为信息获取技术(感测技术)、信息传递技术(电信技术)、信息加工处理技术(计算机技术)及信息控制技术(自动智能控制技术)。信息科学方法包括信息分析方法和信息加工方法,指导人类通过信息窗口去认识世界、改造世界。

此外,模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量崭新课题的研究相继展开。