理论教育 霍普菲尔德网络与玻尔兹曼机:深度学习中的重要工具

霍普菲尔德网络与玻尔兹曼机:深度学习中的重要工具

时间:2023-06-28 理论教育 版权反馈
【摘要】:在20 世纪80 年代,尚在罗切斯特大学的计算机科学家杰罗姆·费尔德曼采用了联结主义网络的方式来研究人工智能。落地后,我预订了飞往巴尔的摩的最早航班,但也要等到第二天了。而杰罗姆所笃信的整洁模型,提供了对对象和概念严谨的计算表征,每个单元上只有一个标签。

霍普菲尔德网络与玻尔兹曼机:深度学习中的重要工具

在20 世纪80 年代,尚在罗切斯特大学的计算机科学家杰罗姆·费尔德曼(Jerome Feldman)采用了联结主义(connectionist)网络的方式来研究人工智能。杰罗姆几乎没说错过什么话,他曾经指出,人工智能中使用的算法在运行了数十亿个步骤之后,却常常得不到一个正确的结论,而大脑只需要经历大约100 个步骤,通常就会得出一个正确的结论。1 这个“100 步法则”当时在人工智能研究人员中并不像现在那样受欢迎,但少数人,其中最著名的是卡内基-梅隆大学的艾伦·纽维尔,的确已经开始把它作为一种约束。

有一次我被困在了纽约州的罗切斯特机场,杰罗姆好心留宿了我一晚。那天,我参观完位于斯克内克塔迪的通用电气研究实验室,准备返回巴尔的摩,在回去的飞机上,听到飞行员通知我们罗切斯特的天气状况。我这才发现坐错了航班。落地后,我预订了飞往巴尔的摩的最早航班,但也要等到第二天了。我碰巧遇见了杰罗姆,他刚参加完在华盛顿特区举办的一次委员会会议,正准备回家。他很大方地邀请我去他家休息一个晚上。杰罗姆后来去了加州大学伯克利分校,但每次我被困机场时,都会禁不住想起他。(www.daowen.com)

杰罗姆区分了“邋遢”和“整洁”的联结主义模型。邋遢模型跟杰弗里·辛顿和我一起研究过的模型十分相似,在网络的许多单元中分布了对对象和概念的表征。而杰罗姆所笃信的整洁模型,提供了对对象和概念严谨的计算表征,每个单元上只有一个标签。在更广泛的背景下,邋遢科学的模型使用近似方法来获得定性的答案,而整洁科学的模型致力于找到问题的确切解决方案。事实上,人工智能要取得进展,需要同时应用这两种方法。2 我不反对立足于“邋遢”的方法,但我会尽一切努力去给出一个更“整洁”的解释,最终努力产生了回报:杰弗里和我后来都因此获得了巨大的成就。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈