自适应信号处理（adaptive signal processing）：提高信号质量的方法，例如自动粒度控制，或可自动降低噪声的可调节滤波器。

算法（algorithm）：一个列出了具体操作步骤的说明，你可以按步骤来实现一个目标，就像对照菜谱烘焙蛋糕一样。

反传（或误差反向传播）［backprop（backpropagation of errors）］：通过梯度下降来优化神经网络的学习算法，以最小化代价函数的值并提高网络性能。

贝叶斯规则（Bayes's rule）：基于新数据和与事件相关条件的先验知识，对事件概率进行更新的规则。更一般地说，贝叶斯概率是对当前和先验数据产生结果的信念。

玻尔兹曼机（Boltzmann machine）：一种神经网络模型，由相互作用的二进制单元组成，其中单元处于活跃状态的概率取决于其整合的突触输入。该模型以19 世纪物理学家路德维希·玻尔兹曼命名，他是统计力学的奠基人。

约束条件（constraints）：让最优化问题的解决方案必须满足的保证其值为正的条件。

卷积（convolution）：通过计算一个函数与另一个函数相对移位的重叠量，将两个函数进行混合。

代价函数（cost function）：用来指定网络目的并衡量其性能表现的函数。学习算法的目的是降低代价函数的值。

数字助理（digital assistant）：用以辅助完成任务的虚拟助理，比如亚马逊智能音箱Echo 中的语音助理Alexa。

周期（epoch）：学习过程中，从指定数量的样本中计算出平均梯度后神经网络中权重的更新。

平衡（equilibrium）：热力学状态，其中没有物质或能量的净宏观流动。在玻尔兹曼机中，神经单元状态是概率性的，当输入保持不变时，系统会最终稳定在平衡状态。

反馈（feedback）：神经网络中由高/后层流向低/前层神经元的连接，这种连接使信号在网络中形成了环流。

前馈网络（feedforward network）：一种多层神经元网络，其中各层神经元之间的连接是单向的，从输入层开始，到输出层结束。

梯度下降（gradient descent）：一种以降低代价函数为目的的优化方法，在每个周期中都会对参数进行调整，代价函数用来衡量网络模型的性能。

霍普菲尔德网络（Hopfield net）：由约翰·霍普菲尔德发明的全连接神经网络模型，根据不同的输入状态，该模型都能保证收敛成固定的吸引子形态，可以用来存储和提取信息。对该网络进行过探讨的文章有上千篇。

学习算法（learning algorithm）：基于样本来调整函数参数的算法。同时提供了输入和目标输出样本的是监督算法，仅提供输入样本的是无监督算法。强化学习是监督学习算法的一种，仅对好的表现进行奖励。

逻辑（logic）：基于结果仅为真或假的假设的数学推断。数学家用逻辑来证明定理。

机器学习（machine learning）：计算机科学的一个分支学科，让计算机从数据中学习如何完成任务，而不对其提供明确的程序设定。

毫秒（millisecond）：一秒的千分之一（0.001 秒），即一千赫兹音调的一个周期。(www.daowen.com)

大规模开放式在线课程（massive open online course，MOOC）：互联网上各色主题的免费课程。第一门MOOC 诞生于2006 年，到2018 年1 月，网上大约有9400门不同的MOOC，拥有约9100万学习者。

神经元（neuron）：一种特异化的大脑细胞，整合其他神经元的输出作为输入，并将输出信号传递给其他神经元。

归一化（normalization）：将信号的振幅稳定在固定范围内。一种将随时间变化的正值信号进行标准化的方式，即用该信号除以其自身的最大值，使归一化的信号被限定在0和1之间。

优化（optimization）：从提供的输入集合中系统地选取输入值的过程，以找到函数的最大或最小输出值。

过度拟合（overfitting）：当一个网络模型中可调整参数的数量远大于训练数据的数量，并且该算法使用了过多参数来匹配这些样本时，经过训练的学习算法所达到的状态。虽然过度拟合大大降低了网络适应新样本的能力，但可以通过正则化来降低这种负面影响。

感知器（perceptron）：一个简单的神经网络模型，由一个神经元和一系列带有可变权重的输入组成，可以通过训练来对输入进行分类。

可塑性（plasticity）：神经元对其功能的改变，如连接强度的改变（“突触可塑性”），或对其输入的响应［“本征可塑性”（intrinsic plasticity）］。

概率分布（probability distribution）：指定了实验中系统或结果的所有可能状态发生的概率的函数。

循环网络（recurrent network）：拥有反馈连接，允许信号在其中循环流动的神经网络。

正则化（regularization）：在训练数据有限的情况下，防止具有许多参数的网络模型发生过度拟合的方法。例如权重衰减，即网络中所有的权值在训练的每个周期都会减小，只有具有较大正梯度的权值被保留。

缩放性（scaling）：对算法的复杂程度如何随着问题的大小而变化的判断标准。例如，n 个数相加的复杂度缩放性为n，但是n 个数所有两数配对相乘的复杂度缩放性为n2。

臭鼬工厂（skunk works）：一个小组在某个组织内以高度自治的方式从事高级别或秘密项目。借鉴了漫画作品《丛林小子》（Li'l Abner）中月光工厂的名称。

稀疏原理（sparsity principle）：对信号的稀疏表征，如脑电图（EEG）和功能磁共振成像（fMRI），用少量固定基函数的加权和来近似信号。这些基函数在独立分量分析（independent component analysis）中被称为信源。在一组神经元中，对一个输入的稀疏表征是指只有少数神经元高度活跃的情况。这可以减少来自表示其他输入的活动模式的干扰。

树突棘（spine）：神经元树突上的刺棘状膜突，充当突触的突触后部位。

突触（synapse）：两个神经元之间的特异化连接部位，信号从突触前神经元传递到突触后神经元。

训练和测试集（training and test sets）：基于训练集的表现并不能很好地评估神经网络在新输入上执行的效果，但训练期间未使用的测试集则可以对网络性能进行评估。当数据集合很小时，可以使用训练集之外的单个样本，对使用其余样本进行训练的网络进行性能测试，并且对每个样本重复该过程以获得平均测试性能。这是n=1 时的交叉验证的特例，其中n 个子样本被保留作为测试集而非训练集。

图灵机（Turing machine）：由阿兰·图灵于1937 年发明的一种假想的，可以用来做数学计算的简单计算机模型。图灵机包括一个可以前后移动的“磁带”，磁带被划分为一个接一个的单元，一个具有“状态”的“磁头”，可以改变其下活动单元的属性，以及一套关于磁头如何修改活动单元格并移动磁带的指令。在每个步骤中，机器可以修改活动单元格的属性并更改磁头的状态，之后再将磁带移动一个单元。