20 世纪五六十年代，在诺伯特·维纳（Norbert Wiener）提出基于机器和生物中的通信和控制系统的控制论之后不久，3 学界对自组织系统开始产生了浓厚的兴趣。而其中一个独创性产物便是由奥利弗·塞弗里奇（Oliver Selfridge）创造的Pandemonium（鬼域）。4这是一个图案识别设备，其中进行特征检测的“恶魔”通过互相竞争，来争取代表图像中对象的权利（深度学习的隐喻，见图3-3）。斯坦福大学的伯纳德·威德罗（Bernard Widrow）和他的学生泰德·霍夫（Ted Hoff）发明了LMS（最小均方）学习算法，5 它与其后继算法一起被广泛用于自适应信号处理，例如噪声消除、财务预测等应用。在这里，我将重点关注一位先驱弗兰克·罗森布拉特（Frank Rosenblatt）（图3-4），他发明的感知器是深度学习的前身。6

图3-3　Pandemonium。奥利弗·塞弗里奇认为，大脑中有恶魔负责从感官输入中先后提取更复杂的特征和抽象概念，从而做出决定。如果每个级别的恶魔与前一个级别的输入相匹配，则会激动不已。做决定的恶魔需要衡量所有信息传递者的兴奋程度和重要性。这种形式的证据评估是对当前多层次深度学习网络的隐喻。图片来源：Peter H.Lindsay and Donald A.Norman，Human Information Processing：An Introduction to Psychology，2nd ed.（New York：Academic Press，1977），图3-1。维基共享资源：https：//commons.wikimedia.org/wiki/File：Pande.jpg。(www.daowen.com)

图3-4　深思中的康奈尔大学教授弗兰克·罗森布拉特，他发明了感知器。作为深度学习网络的早期雏形，感知器是能够将图像进行分类的简易学习算法。图中文章是1958 年7 月8 日在《纽约时报》上发表的一篇来自合众国际社（UPI）的报道。感知器在1959 年完成时预计花费了10 万美元，相当于今天的100 万美元。IBM 704计算机在1958年价值200万美元，相当于现在的2000万美元，可以实现每秒12000次的乘法运算，这在当时已经是极快的速度了。不过相比之下，现在价格要低得多的三星Galaxy S6手机每秒可以执行340亿次操作，速度要快100万倍以上。图片来源：George Nagy。