理论教育 重拾光辉的神经网络研究

重拾光辉的神经网络研究

时间:2023-06-28 理论教育 版权反馈
【摘要】:不幸的是,许多人对他们的论断坚信不疑,于是这个研究领域渐渐被人们遗忘,直到20 世纪80 年代,新一代神经网络研究人员开始重新审视这个问题。罗森布拉特在1971 年死于一次驾船事故,年仅43 岁,当时正值人们几乎一边倒地反对感知器的时期。15 不可否认的是,一个发现了利用神经网络进行计算的新方式的英雄时代已经谢幕;又过了整整一代人的时间,罗森布拉特开创性努力的承诺才得以实现。

重拾光辉的神经网络研究

但是有一个限制,使得感知器的研究存在问题。上面的假设“如果存在这样的权重集合”提出了一个这样的困惑,即什么样的问题可能或不可能被感知器解决。令人尴尬的是,在二维平面中,简单分布的点不能被感知器分开(见图3-5,非线性)。事实证明,坦克感知器不是坦克分类器,而是天气分类器。[1]对图像中的坦克进行分类要困难得多,而事实上,它不能用感知器来完成。这也表明,即使感知器学到了一些东西,也可能不是你认为它应该学到的那些东西。压倒感知器的最后一根稻草是马文·明斯基和西摩尔·帕普特在1969 年发表的数学专著《感知器》(Perceptrons)。14 他们明确的几何分析表明,感知器的能力是有限的:它们只能区分线性可分的类别(见图3-5)。这本书的封面展示了明斯基和帕普特证明的感知器无法解决的几何问题(见图3-7)。尽管在书的末尾,明斯基和帕普特考虑了将单层感知器进行泛化成为多层感知器的前景,但他们怀疑可能没有办法训练这些更强大的感知器。不幸的是,许多人对他们的论断坚信不疑,于是这个研究领域渐渐被人们遗忘,直到20 世纪80 年代,新一代神经网络研究人员开始重新审视这个问题。

在感知器中,每个输入都独立地向输出单元提供证据。但是,如果需要依靠多个输入的组合来做决定,那会怎样呢?这就是感知器无法区分螺旋结构是否相连的原因:单个像素并不能提供它是在内部还是外部的位置信息。尽管在多层前馈神经网络中,可以在输入和输出单元之间的中间层中形成多个输入的组合,但是在20 世纪60 年代,还没有人知道如何训练简单到中间只有一层“隐藏单元”(hidden units)的神经网络。

图3-7 《感知器》一书的增订版封面。两个红色的螺旋结构看起来一样,但实际并非如此。上方的图案由两个不相连的螺旋线组成,下面的则是单一的螺旋线。你可以通过用铅笔跟踪环路的内部路径来验证。明斯基和帕普特证明了感知器不能区分这两个对象。你能直接用肉眼看出区别吗?为什么不能?(www.daowen.com)

弗兰克·罗森布拉特和马文·明斯基曾是纽约市布朗克斯科技高中的同班同学。他们在科学会议上为各自迥异的人工智能研究方法展开了辩论,而与会者更倾向于明斯基的方法。尽管存在差异,但他们二人对我们理解感知器都有着重要贡献,而这正是深度学习的起点。

罗森布拉特在1971 年死于一次驾船事故,年仅43 岁,当时正值人们几乎一边倒地反对感知器的时期。有传言说他可能是自杀,但也可能只是一次不幸的出游。15 不可否认的是,一个发现了利用神经网络进行计算的新方式的英雄时代已经谢幕;又过了整整一代人的时间,罗森布拉特开创性努力的承诺才得以实现。

【注释】

[1]根据尤德科夫斯基在“Artificial Intelligence as a Positive and Negative Factor in Global Risk”中的记录,训练集中的坦克图片样本都是在阴天拍摄的,无坦克样本图片都是在晴天拍摄的。——译者注

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈