感知器是一个有单一神经元的神经网络。复杂度略高于感知器的次简单网络体系结构在输出层中有多个模型神经元，每个输入神经元都会连接到一个输出神经元，该结构将输入层中的模式转换为输出层中的模式。这个网络不仅可以对输入进行分类，还可以学习如何进行盲源分离。

1986 年，安东尼·贝尔（见图6-2）还是一名在苏黎世联邦理工学院（ETH Zurich）进行暑期实习的本科生。他很早就对神经网络产生了兴趣，曾前往日内瓦大学聆听来自神经网络领域前辈们的4 个演讲。在布鲁塞尔大学获得博士学位后，他于1993 年前往拉荷亚，加入了我的实验室，担任博士后研究员。

图6-2　正在独立思考的安东尼·贝尔，当时他正在从事独立分量分析研究（照片拍摄于1995 年前后）。某个领域的专家试图解决一个问题时，常常无法实现突破，有时反倒是第一次接触这个问题的人能找到新方法并解决问题。安东尼和我发现了一种迭代算法来解决盲源分离问题，这个算法现在已经是工程学教科书里的内容，并且有了数千个应用实例。图片来源：安东尼·贝尔。

“通用信息最大化学习原理”（general infomax learning principle）最大限度地提高了通过网络传递的信息量。3 安东尼当时正在研究树突中的信号传输。树突就像细长的电缆，大脑的神经元通过附着在树突上的数以千计的突触收集信息。他凭直觉认为，通过改变树突中离子通道的密度，可以最大限度地提高树突中流通的信息量。在简化问题的过程中（忽略树突），安东尼和我发现了一种新的信息理论学习算法，我们称之为“独立分量分析（ICA）”，它解决了盲源分离问题（见方框6.1）。4

独立分量分析已经有了数千个应用实例，而且已经出现在了信号处理的教科书中。5在被应用于户外场景的自然图像的碎片中时，独立分量分析的独立成分是局部化的定向边缘滤波器（见图6-3），类似于猫和猴子的视觉皮层中的简单细胞（见图5-4）。6 采用独立分量分析方法时，只需要很少的信息源就能重建一幅图像中的一个图块，这种重建在数学上被称为“稀疏化”（sparse）。7

图6-3　源自自然图像的独立分量分析滤波器。使用左图自然场景图像中的图块（12×12 像素）作为输入，通过具有144 个输出单元的独立分量分析网络得到输出。右图中产生的独立分量与在初级视觉皮层中发现的简单细胞类似：它们具有局部性和定向性，分为正区域（白色）和负区域（黑色），灰色区域代表零点。只需要几个滤波器就可以表示任何给定的图块，这一性质被称为“稀疏性”。左图来源：Michael Lewicki；右图来源：Bell and Sejnowski，“The‘Independent Components’of Natural Scenes Are Edge Filters，”figure 4。(www.daowen.com)

6.1

独立分量分析是如何工作的

主分量分析（PCA）和独立分量分析（ICA）之间的比较。图片中的圆点表示两个麦克风分别在垂直和水平轴上的输出。每个点的坐标是单个时间点记录在两个麦克风上的值。PCA 是一种非常受欢迎的无监督学习技术，它挑选出将两个信号等分的方向，将它们的混合程度最大化，并且PCA 轴始终相互垂直。ICA 找到沿点的方向伸展的轴，来表示分离的信号，这些轴可能不是垂直的。

这些结果证实了20 世纪60 年代著名视觉科学家霍勒斯·巴洛（Horace Barlow）的猜想，那时大卫·休伯尔和托斯坦·威泽尔已经在视觉皮层中发现了简单细胞。一个图像通常包含大量的冗余信息，因为附近的像素通常具有相似的值（例如天空的像素）。巴洛猜想，通过减少自然场景表达中的冗余，8 简单细胞就能够更有效地传输图像中的信息。整个学界花了50 年的时间，才开发出数学工具来证实他的直觉。

安东尼和我还认为，独立分量分析被应用于自然声音时，独立分量是具有不同频率和持续时间的时域滤波器，类似于在听觉神经系统初期处理部分中发现的滤波器。9 这使得我们相信，在试图理解感观信号是如何在视觉皮层最早期的处理阶段被表征这一基本原则的道路上，我们前进的方向是正确的。通过将这个原理扩展到线性滤波器的独立特征子空间，就可以在视觉皮层中建立复杂细胞的模型。10

独立分量分析网络包含相同数量的输入和输出单元，以及把它们完全连接起来的一组权重。为解决盲源分离问题，麦克风的声音通过输入层输入，每个麦克风占有一个输入单元，而独立分量分析学习算法（类似感知器算法）不断迭代修改传递到输出层的权重，直到它们收敛。但是，不同于感知器这种监督学习算法，独立分量分析是一种无监督学习算法。它使用输出单元之间的独立性度量作为代价函数，但并不知道输出目标应该是什么。为了使输出尽可能独立，权重不断被修改，原始声源就被完美地分离开来，或者如果它们彼此并不是独立的，其相关性也会被尽可能地去除掉。无监督学习可以在许多不同类型的数据集中发现以前未知的统计结构。