想象一下充满了所有可能算法的空间。这个空间中的每一点都是一个算法,可以做某件事,而且其中一些算法是非常有用且高效的。过去,这些算法是由数学家和计算机科学家们手工创造的,就像行会里的工匠那样。斯蒂芬·沃尔夫勒姆通过穷举搜索(exhaustive search)对搜寻细胞自动机算法的过程进行了自动化,从最简单的自动机开始,其中一些产生了高度复杂的模式。沃尔夫勒姆定律(Wolfram's law)是对这种见解的一个总结。该定律指出,你不必在算法空间中搜索很长一段路径,就可以找到一种能解决一类有趣问题的算法。这就像使用机器人程序在互联网上玩类似《星际争霸》的游戏一样,尝试所有可能的策略。根据沃尔夫勒姆定律,算法空间中应该有大量算法可以赢得游戏。
沃尔夫勒姆专注于细胞自动机的空间,这是所有可能算法空间中一个小的子空间。但是,如果细胞自动机是非典型算法,比其他类算法更具有普遍性呢?我们现在已经在神经网络空间中确认了沃尔夫勒姆定律。每个深度学习网络都是通过学习算法找到的,该算法是一种发现新算法的元算法。对于大型网络和大量数据,从不同的起始状态学习可以产生如星系般庞大的网络数量,它们在解决问题上都能达到相同效果。这就产生了一个问题,即是否存在一种比梯度下降更快的方法能够找到算法空间的区域。梯度下降这种方法速度慢,还需要使用大量的数据。有一个暗示揭示了这种可能性,即每个生物种类,都是由生命算法空间中的一个点附近的变体DNA 序列创建的个体云。自然界通过自然选择设法从一个“个体云”跳跃到另一个云,这种跳跃式过程被称为“间断性平衡”(punctuated equilibria)14,同时每个物种也经历着随机突变的局部搜索。遗传算法被设计用来进行这样的跳跃,大致是基于自然界如何演化出新的有机体15。我们需要用数学来描述这些算法云。可谁知道算法的空间是什么样子呢?还有很多我们尚未发现的算法“星系”,但我们可以通过自动探索的方式来找到这些星系——终极边境。
我实验室的博士后研究员克劳斯·施蒂费尔(Klaus Stiefel)跟进了这一过程中的一个简单例子。他在2007 年使用了一种算法,在计算机中生成了具有复杂的树突树(dendritic trees)的模型神经元。16树突就像天线一样从其他神经元收集输入。可能的树突树的空间是巨大的,而施蒂费尔的目标是指定所需的功能,并在树突树的空间中搜索能够计算出该功能的模型神经元。一个有效的功能是决定输入放电尖峰的到达顺序:当一个特定的输入在另一个输入之前到达时,神经元应该输出一个放电尖峰,但是如果该输入随后到达,神经元应该保持沉默。这种模型神经元是通过使用遗传算法搜索所有可能的树突树发现的,且该解决方案看起来就像皮层锥体神经元,一个突触位于底部的薄树突(基底树突),另一个突触位于神经元顶部的厚树突(顶树突;见图14-6)。这也许解释了为什么锥体细胞有顶端和基底的树突。如果没有对所有可能突触的空间进行深入搜索,我们可能就无法将这种结构和上述功能联系起来。通过从其他功能开始重复此搜索,可以自动编译以树突形状列出相应功能的目录,并且当发现新的神经元时,可以在目录中通过其树突形状查找其潜在的功能。
斯蒂芬·沃尔夫勒姆离开学术界后创立了沃尔夫勒姆研究所,后者开发了Mathematica 程序,该程序支持大量的数学结构,并被广泛应用于实际。Mathematica 是用沃尔夫勒姆语言编写的,这是一种通用的融合多种范式的编程语言。该语言也为沃尔夫勒姆阿尔法(Wolfram Alpha)提供支持,它是第一个实用的、基于符号方法的关于大千世界的问答系统。17 学术领域的货币,是发表的文章。如果你是一个自立的绅士派科学家,你就有能力绕过简短的文章,出版有足够空间来彻底探索新领域的书籍。这是多个世纪以来的常态,只有富人或富人赞助的学者,才有条件成为科学家。(www.daowen.com)
沃尔夫勒姆在2002 年写了《一种新的科学》(A New Kind of Science)一书。18 该书重5.6 磅,长达1280 页,其中有348 页记录了相当于100 份新科学论文的附录。这本书被媒体大肆宣传,但引发了复杂系统界褒贬不一的评论,其中一些人认为其中并没有完整地引用他们的工作。这种反对意见并没有抓住此书的要点,即把以前的工作置于新的语境下。卡尔·林奈(Carolus Linnaeus)开发了一种现代化的植物和动物分类法,即“二名法”(Binomial Nomenclature),如大肠杆菌(Escherichia coli)。该命名法是达尔文进化论的重要先导,为早期的分类学做了铺垫。沃尔夫勒姆开辟的这一研究方向在新一代研究人员中已经有了一批追随者。
在20 世纪80 年代,沃尔夫勒姆对神经网络可能对现实世界产生的影响表示怀疑,而且事实上,这些神经网络在之后30 年的确没有产生太大的影响。然而,过去5 年的进步已经改变了这一点:沃尔夫勒姆和其他许多研究人员承认他们低估了网络的成就。19 但是谁能预测神经网络的性能会扩展到什么程度呢?支持Mathematica 的沃尔夫勒姆语言现在也支持深度学习应用,其中一个应用,是最早对图像中的对象提供在线识别技术的应用程序。20
是斯蒂芬把我介绍给了比阿特丽斯·哥伦布。1987 年我去圣迭戈时,比阿特丽斯正在加州大学圣迭戈分校攻读博士学位。他打电话说,他的朋友比阿特丽斯会参加我的PDP 讲座(之后又分别给我们打电话询问事情的进展)。几年后,我搬到圣迭戈,后来又和比阿特丽斯订了婚。1990 年我们在加州理工学院举行完婚礼后,去了贝克曼礼堂参加了一个婚礼研讨会,比阿特丽斯身着婚纱,发表了一个演讲——《婚姻:理论与实践》(Marriage:Theory and Practice)。斯蒂芬自信满满,不无骄傲地介绍了他当时是如何介绍我们认识的。不过比阿特丽斯提出,如果他想邀功,也必须承担相应的责任,对此,他谨慎地表示了反对。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。