虽然神经网络可以给出一个问题的正确答案，但目前还没有办法解释它们是如何得到这个答案的。例如，假设一名感到胸部刺痛的女性患者来到急诊室。这是心肌梗死的一种症状，需要立即进行干预，还是仅仅是由一种严重的消化不良引起的呢？训练有素的神经网络可能会比医生做出更准确的诊断，但如果不清楚网络为何做出这样的决定，我们就有理由不信任它。医生和算法一样，也要接受一系列测试和决策点的指导，通过常规案例进行培训。但问题在于，有些罕见的情况并不在他们算法覆盖的范围之内，而神经网络则经历过更多案例的训练，远远超过一般医生在一生中会经历的，网络可能会很好地捕捉到这些罕见病例。但是，你会相信无法解释其理由，但从统计上来说诊断能力更强的神经网络，而不去相信看似有凭有据的医生吗？事实上，那些能够精确诊断罕见病例的医生都有着丰富的经验，并且大多数使用了模式识别而不是算法。25 对于各个领域的最高级别专家来说，情况可能都是如此。

正如可以训练网络来提供专业的诊断，是否有可能把其背后的解释作为训练集的一部分，来训练网络对其行为进行解释呢？这样一来也许还可以帮助改善诊断。这一建议是存在问题的，原因是医生给出的许多解释都是片面的、过度简化的，或错误的。每一代医疗实践与前一代相比都发生了巨大的变化，因为人体的复杂性大大超出了我们目前的理解能力。如果我们可以通过分析网络模型的内部状态来提取因果解释，就可能会产生能够推动医学发展的新的见解和假设。

神经网络是一个黑盒子，其理论尚无法被理解，这个陈述对大脑也成立。事实上，在给定相同数据的情况下，不同的个体做出的决定也会千差万别。我们的确还不清楚大脑是如何从经验中得出推论的。就如第三章所讨论的，结论并不总是基于逻辑，其中还存在认知偏差。26此外，我们所接受的解释，往往仅仅是合理的解释或似是而非的故事。我们并不能排除某一天某个非常大的生成网络会突然开始说话的可能性，到时我们就可以向它寻求解释了。我们是否应该期待，能从这样的网络获得比从人类那里得到的更好的故事和合理的解释呢？回想一下，意识并不涉及大脑的内部运作。深度学习网络通常会按照排名次序提供几个而非一个主要的预测，这为我们提供了关于结论可信度的一些信息。监督神经网络只能解决用来训练网络的数据范围内的问题。如果接受过类似案例或样本的培训，神经网络应该在新案例做出一个很好的插值。但是，如果一项新的输入超出了训练数据的范围，进行外推（extrapolation）操作就比较危险了。这应该不会令人感到惊讶，因为同样的限制也适用于人类；我们不应该期望一个物理领域的专家在政治问题上，甚至是物理学中他专长之外的领域，提供良好的建议。但是，只要数据集足够大，能够涵盖全部的潜在输入，网络对新输入进行的泛化操作，结果应该也是不错的。在实践中，人们倾向于使用类比，从比较熟悉的领域推广到新的领域，但如果两个领域存在本质上的不同，这样的类比就是错误的。

所有对输入进行分类的神经网络都存在偏倚。首先，对分类类别的选择就引入了偏倚，这种偏倚反映了我们如何对世界进行分解。例如，训练一个网络来检测草坪上的杂草是非常实用的。但是怎么定义杂草呢？一个人认为是杂草，在另一个人看来可能是野花。分类是一个反应文化偏见的更宽泛的问题。用于训练网络的数据集加剧了这种不确定性。例如，有许多公司为执法机构提供基于面部识别的犯罪分子识别系统。黑人面部识别中出现的假阳性误判比白人面孔多，因为用于训练网络的数据库中有更多的白人面孔，你拥有的数据越多，准确率就越高。27 数据库偏差可以通过重新平衡数据来纠正，但不可避免地会存在隐藏的偏倚，这取决于数据的来源以及被用来做出什么样的决定。28

另一个反对依赖神经网络的理由是，人们可能会以公平为代价来优化利润。例如，如果未被充分代表的少数群体中的人去申请住房抵押贷款，而已接受过数百万次申请培训的神经网络拒绝了该申请。对网络的输入包括当前地址，以及与少数群体高度相关的其他信息。因此，即使有反对明确歧视少数群体的法律，该网络也可能会利用这些信息来暗中歧视他们。这里的问题不在于神经网络，而在于我们让它优化的代价函数。如果利润是唯一的目标，网络就会使用被提供的任何信息来最大化利润。解决这个问题的方法是将公平性作为代价函数中的一个参数。虽然最佳解决方案是在利润和公平之间找到一种明智的平衡，但必须在代价函数中明确这种平衡，这就需要有人决定如何权衡每个目标的重要性。那些人文和社会科学领域的伦理观点应该为这些权衡提供指导。但我们必须时刻牢记，选择一个看似公平的代价函数可能会产生意想不到的后果。29

伊隆·马斯克、斯蒂芬·霍金以及立法者和研究人员，都曾呼吁对人工智能进行规范。2015 年，3722 位人工智能和机器人研究人员共同签署了一封公开信，呼吁禁止使用自动武器：

综上所述，我们认为人工智能在很多方面都具有造福人类的巨大潜力，这也应该是该领域的目标。但开始人工智能军备竞赛不是一个好主意，应该通过法令禁止超出人类合理控制范围的自动攻击性武器。30(www.daowen.com)

这一禁令本意是好的，但也可能适得其反。并非所有国家都会遵循禁令。俄罗斯总统普京就曾发表过这样的言论：

人工智能是未来，不仅对俄罗斯来说是这样，对全人类也是一样。它带来了巨大的机会，但也会带来难以预测的威胁。无论谁成为这个领域的领导者，都将统治全世界。31

全面禁令的问题在于人工智能不是一个孤立的领域，而是一个拥有许多不同工具和应用的领域，其中每一样都会产生不同的结果。例如，信用评分的自动化是机器学习在20 世纪80 年代的早期应用。有人担心，如果他们碰巧住在声誉不好的社区内，就会得到不公正的评分。这就催生出了对用于计算分数的信息进行限制的法律规定，并要求公司通知个人如何提高分数。每个申请都存在不同的问题，最好根据具体情况进行处理，而不是盲目禁止相关研究。32

1987 年学术休假期间，我拜访了索尔克研究所的弗朗西斯·克里克，那会儿我在加州理工学院担任神经生物学Cornelis Wiersma 客座教授。弗朗西斯当时正在建立一个实力雄厚的视觉研究小组，这是我特别感兴趣的研究题目之一。我在教员午餐时间演示了我的话语网络样带，引发了热烈的讨论。我在1989 年搬到拉荷亚，这标志着我从约翰·霍普金斯大学的初级教员转变为索尔克研究所的高级教员，真令人兴奋。几乎在一夜之间，很多机会都向我敞开了怀抱，其中包括霍华德·休斯医学研究所（Howard Hughes Medical Institute）的一项任命，该机构为我26 年的研究提供了慷慨的支持。

1989年加入加州大学圣迭戈分校时，我遗憾地发现，那位教授我们反向传播理论的大卫·鲁姆哈特已经去了斯坦福大学，在那之后我很少有机会再见到他。多年来，我注意到大卫的行为方式发生了令人不安的变化。最终，他被诊断患有额颞叶痴呆——患者大脑的额叶皮层中的神经元会逐渐流失，对他的性格、行为和语言造成影响。2011年，鲁姆哈特在他68 岁时去世了，那时他已经认不出家人或朋友了。