神经网络的工作原理是通过训练样本学习到隐含在样本中的内在规律，从而对下一输入数据（与训练样本具相同统计分布特征样本）做出正确反应。神经网络学习算法有：误差反向传播（Back Propagation）学习、Hebb联想学习Widrow-Hoff学习、Kohonen学习和竞争学习等，但目前应用最多的仍是误差反向传播学习及其各种改进算法。

多层网络的BP算法是LMS（Least Mean Square）算法的推广，其学习输入是一个网络正确行为样本的集合：

p是网络输入，t是对应的目标输出。每输入一个样本，便将网络输出与目标输出相比较，算法将不断调整网络参数以使输出均方差最小化，即：

而在实际计算过程中，一般采用近似均方差。

调整网络参数（BP算法）的算法如下。

1.通过网络将输入向前传播

式中：右上标表示层号，分别是m+1层网络输出、传递函数、权值和偏置值。

2.通过网络将敏感性反向传播(www.daowen.com)

式中：Am为m层的敏感性，且

式中：

3.使用近似的最速下降法更新权值和偏置值

式中：γ是动量系数；α是学习率，满足

0≤γ＜1，0≤α＜1

用更新的权值和偏置值重新计算输出直到近似均方差足小。