深度学习拥有很长的历史，可以追溯到NIPS 年度大会和研讨会，以及这些会议的前身。20 世纪80 年代，来自世界各地的工程师、物理学家、数学家、心理学家和神经科学家在NIPS 大会上齐聚一堂，探讨共同构建人工智能的新方法。物理学家分析神经网络模型，心理学家模拟人类认知，神经科学家模拟神经系统并分析神经记录，统计学家探索高维空间中的大数据集，工程师则负责构建具备类人的视觉和听觉的设备。人工智能就以这样的方式飞速发展起来。

1987 年在美国丹佛技术中心举办的第一届NIPS 大会，聚集了400 位与会者。学术会议通常侧重于狭窄的研究领域，因为每个人都会说同样的术语，彼此间能顺畅地交流。但是早期NIPS 大会的科学多样性确实令人惊叹。生物学家在面对其他生物学家做演讲时，会用生物领域的术语。2 数学家和物理学家交流的情况更糟糕，他们只会用方程式说话。工程师们会好一些，因为他们构建的东西不言自明。由于这些文化障碍，跨学科研究虽然被普遍寄予厚望，但事实上却很难实现。在早期的NIPS 大会上，好像每个人都在自说自话。

1987 年NIPS 大会的主要会议结束之后，与会者在附近的滑雪胜地Keystone又聚集到一起开了个研讨会，并自行组织了小组会议。在一个不那么正式的环境里，学科之间的真正沟通开始了。我清楚地记得，我们在Keystone的热水浴缸里泡澡的时候，一位神经学博士建议当场开展一个关于海兔的研讨会。3当时我旁边那位来自美国国防部的绅士，很可能在琢磨海兔与国家安全有什么关系。然而今天，NIPS研讨会都是带有墙报展示环节的小型会议，其中一些研讨会吸引了数千名与会者。

是什么让NIPS 长期受到追捧呢？首先，是让人激动的氛围，因为我们正处于用受生物学启发的学习算法来解决复杂计算问题的前沿。其次，就是因为爱德华·波斯纳（见图11-2），他是加州理工学院的信息理论家，也是喷气推进实验室（Jet Propulsion Lab）的首席技术专家。他对这个领域有着长远的眼光，并建立了NIPS 基金会对大会进行管理。

一个组织的文化往往能反映其创始人的特质。爱德华赋予了NIPS 睿智、机敏和幽默感的独特组合。他是一位擅长启发别人的老师，同时也是卓有成效的领导者。他因为支持暑期大学生研究奖学金项目（Summer Undergraduate Research Fellowships，简称SURF）而在加州理工学院备受爱戴，该项目被称为“加州理工皇冠上的宝石”之一。爱德华招募了菲尔·索特尔（Phil Sotel）作为公益法律顾问。数十年间，会议规模和复杂程度都在不断增长。在索特尔的努力下，许多随之而来的问题都妥善地得到了解决，因此大会得以每年顺利举行。

(www.daowen.com)

图11-2　加州理工学院的爱德华·波斯纳，NIPS大会的发起人。该大会在举办了30 年后仍然颇受欢迎，这跟爱德华的远见卓识密不可分。图片来源：加州理工学院。

爱德华在我妻子还很年轻的时候就认识她了，并且通过NIPS 单独结识了我。所以当我在一次NIPS 大会中突然告诉他，比阿特丽斯和我已经订婚（engaged）了的时候，他回答说：“致力于（engaged）什么？”^[1]爱德华于1993年在一次自行车事故中不幸身亡，随后我接替他成为NIPS 基金会主席，保证大会的继续发展和繁荣。我们在每年的NIPS 大会上都会举办爱德华·波斯纳讲座（Ed Posner Lecture），以表示对他的缅怀和敬意。NIPS 大会的特邀演讲嘉宾通常都不是NIPS 主流领域内的从业者，但波斯纳讲座主要的演讲者都是来自我们这个群体，并对该领域做出重大贡献的成员。

NIPS 大会的主席团由一群杰出的科学家和工程师组成。在此仅列举几位。斯科特·柯克帕特里克是一位物理学家（在第7章中已经介绍过），他发明了一种让计算机先“加热”再慢慢“冷却”，来解决计算难题的“模拟退火算法”。塞巴斯蒂安·特隆是一位计算机科学家（在第1章中介绍过），他赢得了2005 年DARPA 自动驾驶挑战大赛，为今天的自动驾驶汽车打开了大门。达芙妮·科勒（Daphne Koller）是一位计算机科学家，也是Coursera（将在第12章介绍）的联合创始人，开创了慕课领域的先河。

大数据促成了深度学习的腾飞。不久前，一太字节（terabyte，即万亿字节）的数据还需要占用整个机架；而现在，在单个记忆棒上就可以存储一太字节的数据。互联网公司的数据中心存储的信息以拍字节（petabyte）计量，每拍字节包含1024太字节（1拍字节=1015字节）。自20世纪80 年代以来，世界上的数据量每三年翻一番。每天都有数千拍字节的数据被上传到互联网上，其总容量达到了泽字节（zettabyte，即100万拍字节，或1021字节）。大数据爆炸的影响不仅体现在科学和工程领域，也延伸到了社会生活的方方面面。如果没有互联网上的数百万张图像和其他标签数据，就无法训练真正的大型深度学习网络。

世界各地的大学都在为数据科学建立新的中心、研究机构和科系。艾利克斯·萨雷（Alex Szalay）自1998 年以来，就在斯隆数字巡天项目（Sloan Digital Sky Survey，下文简称SDSS；http：//www.sdss.org/）中收集天文数据。2009 年，凭借自己的这份经历，他在约翰·霍普金斯大学建立了数据密集工程和科学研究所（Institute for Data Intensive Engineering and Science，简称IDIES）。SDSS使得天文学家收集的数据总量成千倍地增长，是当今世界上被使用次数最多的天文学设施。然而，正在建设中的大型综合性天空巡天望远镜（Large Synoptic Sky Survey Telescope，https：//www.lsst.org/）收集的拍字节规模的数据集，将超越斯隆数字巡天项目收集的太字节规模的数据集达1000 倍之多。2013 年，当杨立昆在纽约大学创立数据科学中心时，每个科系都有老师带着手中的数据去拜访他。2018 年，加州大学圣迭戈分校建立了新的Hahcioglu 数据科学研究所。数据科学硕士学位（Master's in Data Science degrees，简称MDSs）正变得像工商管理硕士（MBA）一样受人追捧。