信息论

以克劳德·香农和阿兰·图灵数学思想为基础，研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。这是一个不断发展的学科，认为人类的创造与通信就是信息在噪声干扰下通过一条信道的传输。信道可以是一条线，也可以是真实世界。信息量的衡量标准是“熵”，即信息本身传递出来的“新”或带来的惊异。信息是知识的构成元素。

因为人类的创造和通信可以是商业计划或实验，信息论就为新型经济学奠定了基础。这种新型经济学的驱动力不是均衡或秩序，而是企业家提出的、可证伪的投资方案带来的惊异。

信息论使得我们的数字世界具有了现实可能性，并为我们描述了这样一个世界。

香农信息熵

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统对有序化程度的一个度量。

香农用令人惊异的或出人意料的比特来度量信息量。一条信息的熵值代表着选择的自由度以及信息创造者进行创新的空间。潜在信息的数量越多或者信息符号的数量越多，信息创造者的选择自由度就越高，信息消除熵或不确定的能力就越强，信息量也就越大。

熵最简单的衡量尺度是二进制比特。如同物理熵一样，信息熵是一个事件发生概率的对数的负值，这里的对数是以2为底的对数。秩序是可以预测的，因此，一个有序的系统是低信息量、低熵的系统。

玻尔兹曼熵（或物理熵）

玻尔兹曼发现，一个封闭系统中的熵跟具有热力学性质的微观状态数量相关，提出熵可以定义为玻尔兹曼常数乘以系统分子的状态数的对数值，在宏观条件不变的情况下，系统微观态数越多，系统越混乱，熵就越大，否则，熵就越小。从微观意义上讲，熵是系统无序性和混乱程度的量度。

在一个被冷热实体分开的系统中，玻尔兹曼熵的初始值是零，此时我们最了解这个系统内分子的排列体系；当冷热实体合并时，这个系统的熵达到最大值，此时我们对这个系统的了解最少。玻尔兹曼因此认为熵值与信息缺失联系在了一起，或者说与分子排列的不确定性联系在了一起，为香农的信息论开辟了道路。汉斯·克里斯蒂安·冯·贝耶尔（Hans Christian van Bayer）在《信息：新的科学语言》（Information: The New Language of Science）一书中写道：“玻尔兹曼把信息的概念引入了物理学领域。”

在一个封闭的系统内，物理熵往往是增加的。热量总是从高温实体流向低温实体，这就减少了温差带来的能量。系统温度会逐渐趋于平均水平。因此，从统计学角度来看，在孤立系统中，一切不可逆过程必然朝着熵不断增加的方向进行，这就是熵增加原理。

虽然玻尔兹曼熵与香农熵的计算公式具有很多相似之处，但玻尔兹曼采用的是自然对数，而香农采用的是以2为底的对数。

哥德尔不完备定理

在数理逻辑中，哥德尔不完备定理是库尔特·哥德尔于1931年证明并发表的两条定理。简单地说，第一条定理指出：任何一个形式系统，只要包括了简单的初等数论描述，而且是自洽的，它必定包含某些系统内所允许的方法既不能证明真，也不能证伪的命题。他的第二条定理指出：任何相容的形式体系不能用于证明它本身的相容性。也就是说，真理不能在系统内部自行证明。

在论证不完备定理的过程中，哥德尔发明了一种数学“机器”，用数字为定理进行编码，并证明定理。因此，他的重要发现为阿兰·图灵和约翰·冯·诺伊曼这两位计算机科学先驱提供了启迪。

哥德尔证明数学体系不是密封的，也不是完全一致和确定的，这为后现代数学的出现奠定了基础。后现代数学把软件、生活和创造力结合在了一起，取代了确定性的数学物理体系。

图灵机

图灵机是阿兰·图灵于1936年提出的一种抽象的计算模型。它指的是一个抽象的机器，它有一条无限长的纸带，纸带分成了一个一个的小方格，每个方格有不同的颜色。有一个机头在纸带上移来移去。机头内有一组内部状态控制器件，还有一些固定的程序。机头不停地从当前纸带上读入一个方格信息，然后结合自己的内部状态查找程序表，根据程序输出信息到纸带方格上，并转换自己的内部状态，然后进行移动。图灵证明这种简单的、假想的机器可以执行任何计算功能，而且虽然图灵机的计算功能看似很强大，但也逃不脱逻辑设定的界限，某些数学问题是不能用任何机械过程来解决的。图灵还表明一个通用的图灵机不能计算某个程序是否会停止。(www.daowen.com)

图灵机是一种通用计算机，因为它超越了时间和空间的限制。真实世界中，计算机的应用范围必然存在局限性。图灵表明了计算逻辑的局限性，为软件设计过程中的创意提供了理论支持。

香农的载体或信道

载体或信道指的是信号传输的通道或路径。为了在信号接收器将信号与载体区分开来，载体必须是低熵的。因此，要用低熵载体来承载高熵的信息，用一个平凡的载体来传递重要的意义。

最可靠的低熵载体是电磁波谱。电磁波的范围十分广泛，无线电波和光波都是电磁波，电磁辐射为正弦波。电磁波不需要传播介质就可以在真空中以固定的速率传输，速度为光速。

香农的通道容量公式表明，面对噪声（见以下定义），信道容量与信道带宽成正比，增加信道带宽比增加信号力量更有效。增加信道带宽会导致信息流呈现出完美的线性增长趋势。增加信号强度与增加信息流之间不是线性关系，而是对数关系。因此，为了增强信道容量，香农提出增加带宽，降低信号强度的办法。

噪声

噪声指干扰信号传输的能量场，以及信道对信号传输造成的一切不良影响。

信息论中的噪声类似于电子学中的电阻。这个类比表明噪声对于信号和熵也是至关重要的。理想的噪声被称为“白噪声”（类似于白光）。“白噪声”包含所有频率，而没有序列相关性，因此具有时间上的独立性。因为白噪声的脉冲没有序列相关性，所以它体现了最高的熵；任何脉冲都无法为我们预测下一个脉冲提供参照。从原理上来讲，一连串的随机噪声与一系列创造性的惊异是无法区别开来的。

白噪声是一个假想的、理想化的噪声，因为如果真的包含所有频率，将需要无限大的能量，而在现实中，所有的噪声衰减时都会消耗很高的能量。更加常见的噪声是褐色噪声，这种噪声的频率分量功率主要集中在低频段。该噪声实际上是布朗运动产生的，也被称为随机飘移噪声。

蔡廷定理

静态的、永恒的、完美的数学模型不能模拟动态的、创造性的生活。贝尔实验室的格雷戈里·蔡廷是算法信息论的发明者，他的理论表明了我们需要超越牛顿数学物理体系，并采用后现代数学体系，也就是说哥德尔、图灵和冯·诺伊曼之后形成的“创造性的数学体系”。

知识

知识指经过证实或证伪的信息，经过处理和解读，可以呈现出不同的意义，也可能表现为智慧和领导力。知识通常具有本地性、具体性和实践性，是一个经济体内的价值源泉。物质是守恒的，而相比之下，知识可以无限地扩展和积累。所有的经济交易都是由交易者差异化的知识的交易构成的。

权力

权力指通过提供可靠的、低熵的法律、金融和管理环境，赋予知识以效率的能力，也指借助胁迫手段抑制或否决知识的能力。

知识具有内在的分散性，分散于每个人的头脑中，权力也要以类似的方式进行分散，分散程度影响经济繁荣程度。自由市场和不受控制的价格通常有助于这一目标的实现。政府和企业的结合则容易阻挠这一目标的实现。

面对噪声，香农在通信领域提出了增加信道带宽、减弱信号强度的策略，这就相当于在经济领域内增加知识的带宽，同时分散权力。