1990 年，作为在加州理工学院休学术年假的仙童杰出学者，我喜欢参加实验室会议，尤其是克里斯托弗·科赫（Christof Koch）（一位和我有着共同兴趣的计算神经科学家）和他的同事的会议，以及Carverland，即卡弗·米德的研究小组的会议。Carverland 有一个令人惊叹的项目——硅耳蜗，它具有和我们耳中的耳蜗相类似的频率调谐电路。其他研究人员正在研究硅突触，包括模仿突触可塑性的硅机制，以便可以在硅芯片上实现长期的权重变化。来自Carverland 研究小组的学生从那时开始走出实验室，进入了世界各地的工程学院。

1993 年，克里斯托弗·科赫、罗德尼·道格拉斯和我成立了由NSF 赞助的神经形态工程研讨会，每年7 月在科罗拉多州特柳赖德（Telluride）市举行为期三周的会议。这个研讨会是国际性的，参会的学生和教师来自不同的背景和国家。与大多数讲座多于实践的研讨会不同，特柳赖德研讨会的房间里挤满了用微芯片来构建机器人的学生。不过有一个问题，将视网膜芯片连接到视觉皮层芯片，再将皮层芯片连接到电机输出芯片，这一步骤需要用到大量的连线。

用放电脉冲（spikes）连接模拟大规模集成电路芯片则要好得多，我们的大脑通过白质的长距离轴突传输信息也是利用了这种方式，这些白质构成了我们一半的大脑皮层。但将视网膜芯片和皮层芯片通过上百万根线连接起来却完全行不通。幸运的是，快速的数字逻辑可以用来使每根导线多路复用，让许多视网膜细胞能够与同一导线上的多个皮层细胞进行通信。这一过程是通过发送芯片，把每一个原始脉冲的地址发送给接收芯片来实现的，接收芯片解码地址，并路由到与它相连接的相应单元，即所谓的“地址事件表示”（address event representation）。

托拜厄斯·德尔布吕克（见图14-4）是卡弗·米德的研究生之一，7他现在在苏黎世大学神经信息学研究所工作。2008 年，他开发了一种非常成功的脉冲视网膜芯片，叫作“动态视觉传感器”（Dynamic Vision Sensor，以下简称DVS）。这个芯片可以简化一些视觉任务，例如跟踪移动物体，或用两台摄像机对物体进行深度定位（见图14-4，下图）。8传统的数码相机是基于图像帧的，录制视频的过程就是存储一系列间隔大约26 毫秒的图像。这种做法会丢失帧与帧之间的信息：设想一个旋转的托盘，转速是每秒200 转，盘上有一个光点随盘转动；该光点会在每一帧中旋转5 次，但是数码相机的回放效果看起来像一个静态环（见方框14.1）。相比之下，德尔布吕克的脉冲摄影机可以以微秒级的精度跟踪移动点，并且只需很少量的脉冲，因此速度很快，而且效率很高。作为第一款基于脉冲和触发定时的新一代传感器，DVS 相机具有很大的潜力，可以改善包括自动驾驶汽车在内的许多应用的性能。2013 年特柳赖德研讨会的其中一个项目，就是用它来阻挡来自桌面的进球（见图14-5）。

图14-4　动态视觉传感器（DVS）。（上图）托拜厄斯·德尔布吕克拿着他在苏黎世大学神经信息学研究所发明的DVS 相机。这种相机采用了专用芯片，可以异步发射脉冲，而不是像数码相机那样按帧采集图像。（下图）相机的镜头将图像聚焦在模拟超大规模集成电路芯片上，芯片会对每个像素上光强度的增加或减少进行检测。脉冲沿着“开启”（on）导线发出正增量，并沿着“关闭”（off）导线发出负增量。输出脉冲由电路板处理，电路板会显示出例如方框14.1 中的脉冲图案。你的视网膜是一台非常先进的DVS 相机。来自视网膜的脉冲图案在大脑中发生了转换，但该模式仍然保留了脉冲——你的大脑中并不存在任何完整的图像，即使你是以这种方式感知世界的。上图来源：托拜厄斯·德尔布吕克。下图来源：三星。

14.1

动态视觉传感器的工作原理

(www.daowen.com)

在上图DVS 摄像机的图像帧中，白点是来自“开”（on）通道的脉冲，黑点是来自“关”（off）通道的脉冲。灰色表示没有脉冲。在左上方的图片中，可以检测到两个脸部，因为它们在26 毫秒的帧间隙内发生了轻微的移动。在右上角的（杂耍）图片中，斑点的到达时间由灰度表示，因此就能看到物体的移动轨迹。左下方图片中的旋转盘以每秒200 转（rps）的速度旋转。在底部中间的图片中，轨迹是向上移动的螺旋。右下方螺旋短暂的300 微秒切片中，只有80个脉冲，通过测量黑色和白色脉冲的位移，并除以时间间隔，很容易计算出速度。请注意，具有26 毫秒取帧周期的普遍数码相机无法跟随以200 赫兹旋转的点，因为旋转周期为5 毫秒，并且每个帧都显示了一个环。DVS 相机的唯一输出是一串脉冲，就像视网膜一样。这是表现场景的有效方式，因为大部分像素在大多数时间都保持不变，而每个脉冲都携带着有用的信息。图片来源：P.Lichtsteiner，C.Posch，and T.Delbruck，“A 128×128120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor，”IEEE Journal of Solid-State Circuits 43，no.2（2008）：图11。资料来源：托拜厄斯·德尔布吕克。

脉冲神经元为计算领域打开了新的机会。例如，神经元群体中放电脉冲的时间可用于调整存储的信息类型。1997 年，亨利·马克拉姆（Henry Markram）和德国的伯特·萨克曼（Bert Sakmann）报道说，通过对突触的输入信号和突触后神经元的输出信号的重复配对，他们能够对突触强度进行增减。9如果突触输入放电发生在突触输出放电之前的20 毫秒窗口内，突触会保持长期增强，但如果突触输入放电的重复配对发生在突触输出放电之后的20 毫秒窗口内，则突触会保持长期衰减（见图14-6）。据报道，“放电时序依赖可塑性”（Spiketiming-dependent plasticity，简称STDP）曾经被发现于许多物种大脑中的不同部位，这种可塑性可能对事件序列在脑中形成长期记忆起着重要的作用，但同样重要的是，它很好地解释了赫布的假定（在第7章中已经进行了讨论）。10

赫布可塑性的普遍观点是，当一个神经元的输入和输出同时出现放电脉冲时，突触的强度会增加，这是一种重合检测的形式。但是赫布实际上说的是，“当细胞A 的轴突接近到足以激发细胞B，并反复或持续参与放电激发细胞B 时，细胞的一些生长过程或代谢变化会发生在其中一个或两个细胞中，使得细胞A（作为激发细胞B 的细胞之一）激发细胞B 的效率增加”。11 如果细胞A 对激发细胞B 有贡献，那么细胞A 必须在细胞B 中的“受激发脉冲”之前发射一个“激发脉冲”。正如赫布所描述的，这种情况提示了一种因果关系，而不仅仅是相关性。尽管赫布没有对降低突触强度的条件进行描述，但当输入放电脉冲发生在输出放电脉冲之后时，输入脉冲就不太可能导致输出神经元发生脉冲。如果从长远来看，突触强度的增强和降低必须达到平衡，那么这时断开突触是讲得通的。

图14-5　2013年，特柳赖德神经形态工程研讨会中的神经形态守门员。（上图）Fopefolu Folowosele（左侧）在测试神经形态守门员（右侧）。其他学生和他们的项目可以在背景中看到。（下图）德尔布吕克的DVS 相机能驱动油漆搅拌棒转动。这个守门员的动作比学生要快得多，并且成功地守住了每一个射门。我也尝试过，但是未能进球。图片来源：托拜厄斯·德尔布吕克。

图14-6　放电时序依赖的可塑性（STDP）。（左图）伟大的西班牙神经解剖学家圣迭戈·拉蒙-卡哈尔（Santiago Ramóny Cajal）绘制的皮层中的锥体神经元。神经元A的输出轴突通过突触与神经元C 的树突接触（如箭头所示）。（右图）与左侧图中类似的两个神经元被用电极穿刺并施加刺激，使两个神经元产生的尖峰之间存在时间延迟。当神经元的输入放电与输出放电重复配对时，如果突触前神经元放电在突触后神经元放电之前20毫秒的窗口内到达，则突触强度（垂直轴）增加。如果顺序相反，则强度降低。左图来源：Ramóny Cajal，S.Estudios Sobre la Degeneración y Regeneracióndel Sistema Nervioso（Moya，Madrid，1913-1914），图281。右图来源：G.Q.Bi and M.M.Poo，“Synaptic Modifications in Cultured Hippocampal Neurons：Dependence on Spike Timing，Synaptic Strength，and Postsynaptic Cell Type，”Journal of Neuroscience 18（1998）：10464-10472，图7。资料来源：蒲慕明。

在特柳赖德神经形态研讨会上，模拟超大规模集成电路倡导者和数字超大规模集成电路设计师之间存在着一场持续不断的争论。模拟超大规模集成电路芯片有许多优点，例如所有电路并行工作时功耗非常低，但也存在缺点，例如由于晶体管的多样性，在设计图上相同的晶体管产生的电流可以相差±50%。相比之下，数字超大规模集成电路虽然比较精确，速度更快，设计更容易，但需要消耗更多的功率。德尔门德拉·莫德哈（Dharmendra Modha）在加利福尼亚州阿尔马登市（Almaden）IBM 研究所的团队开发了一款数字芯片，包含4096 个处理核心和54亿个晶体管，被称为“True North”。12尽管该芯片可以被配置来实现模拟100 万个突触神经元，并连接2.68 亿个突触，却仅仅需要消耗70 毫瓦的功率。但是这些突触的强度是固定的，这种不变性限制了对许多重要特征的实现，如强度的弱化或增强。

具有脉冲神经元的网络还有另一个缺点，即梯度下降。脉冲时间是不连续的，而梯度下降要求神经元的输入输出值在时间上是连续的。这就限制了可训练脉冲网络的复杂性。梯度下降在训练“输出随输入连续变化”神经元的深度网络方面取得了巨大成功，神经元的输出函数是可微分的，这是反向传播学习算法的基本特征。尽管在不可微分脉冲网络中，脉冲的发生不具有连续性，但是我实验室的博士后研究员本·哈（Ben Huh）最近克服了这个缺点，他找到了一种方法，能够让脉冲神经元的循环网络模型使用梯度下降，在长时间序列上执行复杂的任务。13 这一成果打开了深度脉冲网络的大门。