理论教育 深度学习与视觉层级结构的应用探讨

深度学习与视觉层级结构的应用探讨

时间:2023-06-28 理论教育 版权反馈
【摘要】:15他得出结论:深度学习网络中每层神经元的统计特性,与皮层层级结构中神经元的统计特性非常接近。深度学习网络中的单元与猴子视觉皮层中神经元性能存在相似性,但其原因仍然有待研究,尤其是考虑到猴子的大脑不太可能使用反向传播方式来进行学习。深度学习神经网络的一个优点是,我们可以从网络中的每个单元提取“记录”,并追踪信息流从一层到另一层的转变。

深度学习与视觉层级结构的应用探讨

加州大学圣迭戈分校的帕特里夏·丘奇兰德不仅是心灵哲学家,同时也研究神经哲学。13 知识最终取决于大脑如何表达知识的说法,显然没有人阻止哲学家认为知识是独立于世界而存在的一种东西,用伊曼努尔·康德(Immanuel Kant)的话来说,就是“Ding an sich”(物自身)。但同样清楚的是,如果我们(和其他动物一样)要在现实世界中生存,背景知识就是必不可少的。经过训练的多层神经网络的隐藏单元之间的活动模式,与被逐次记录下的大量生物神经之间的活动模式存在显著的相似性。受到这种相似性的驱动,帕特里夏和我在1992 年编写了《计算脑》(The Computational Brain)一书,为基于大量神经元的神经科学研究开发了一个概念框架14(该书现在已经出到第二版了,如果你想更多地了解大脑式的运算,这会是一本很好的入门参考。)麻省理工学院的詹姆斯·狄卡罗(James DiCarlo)最近比较了猴子视觉皮层层级结构中不同神经元和深度学习神经网络中的单元,训练它们识别相同图片中的对象,分别观察它们的响应(见图9-2)。15他得出结论:深度学习网络中每层神经元的统计特性,与皮层层级结构中神经元的统计特性非常接近。

深度学习网络中的单元与猴子视觉皮层中神经元性能存在相似性,但其原因仍然有待研究,尤其是考虑到猴子的大脑不太可能使用反向传播方式来进行学习。反向传播需要将详细的错误信号反馈给神经网络每层中的每个神经元,其精度比生物神经网络中已知反馈连接的精度要高得多。但其他学习算法在生物学上似乎更合理,例如玻尔兹曼机学习算法,该算法使用了已经在皮层中被发现的赫布突触可塑性。这引出了一个有趣的问题,是否存在一种深度学习的数学理论,能够适用于一大类学习算法(包括皮层中的那些)呢?在第7章中,我提到了对视觉层级结构的上层分类表面的分析,其决策表面比更低层级的表面更平坦。对决策表面的几何分析可能会引出对深度学习网络和大脑更深入的数学理解。(www.daowen.com)

深度学习神经网络的一个优点是,我们可以从网络中的每个单元提取“记录”,并追踪信息流从一层到另一层的转变。然后可以将分析这种网络的策略用于分析大脑中的神经元。关于技术的一个奇妙之处在于,技术背后通常都有一个很好的解释,并且有强烈的动机来得到这种解释。第一台蒸汽发动机是由工程师根据他们的直觉建造的;解释发动机如何工作的热力学理论随后出现,并且帮助提升了发动机的效率。物理学家和数学家对深度学习网络的分析也正在顺利进行着。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈