1948年，在AT&T公司位于新泽西州默里山（Murray Hill）的贝尔实验室里，克劳德·香农（Claud Shannon，见图15-1）提出了一种非常简单却很微妙的信息理论，来理解有噪声的电话线里的信号传输问题。1 香农的理论推动了数字通信的革命，并为移动电话、数字电视以及互联网的诞生奠定了基础。打电话的时候，你的声音被编码为“比特”，通过无线电波和数字电缆传送到接收端，接收端再将比特解码并转化为声音。信息论给通信信道（图15-2）的带宽确定了上限，逼近香农极限的不同编码也被设计了出来。

图15-1　克劳德·香农与电话交换网络（照片拍摄于1963 年前后）。他发明信息论时仍在AT&T贝尔实验室任职。图片来源：Alfred Eisenstaedt/The LIFE Picture Collection/Getty Images。(www.daowen.com)

图15-2　香农的通信系统模型。该消息被编码成二进制比特，并沿着一条可能是电话线或无线电波的信道向下传输，在终端被接收和解码。以“每秒比特数”为单位的信道容量取决于系统中的噪声量。

尽管世界上的信息形式丰富多样，有一种测量方式却能够精确测量一个数据集中信息的大小。信息的单位是二进制比特，每个比特只能有0 或1 两种值。一个字节包含8 个比特。高质量照片的信息内容以兆字节或者说百万字节计数。手机的存储信息以吉字节（GB）或称千兆字节计数。网络上的数据以拍字节（PB）或称百万吉字节计数。