此算法亦称为LMBP算法（Levenberg-MarquardtBP算法）。在实际应用中，标准BP算法存在两个主要问题，即收敛速度慢和目标函数存在局部极小点。对于局部极小的问题，可采用全局优化的方法加以解决，如遗传算法等。为提高网络收敛的速度，人们在标准BP算法的基础上进行了改进，提出了多种基于非线性优化的训练算法（Martind等，2002）。其中，基于非线性最小二乘法的LMBP算法更具优越性，其基本思路可归纳为如下。

首先，将误差函数展开成泰勒级数，并忽略3 次以上的各项

采用牛顿法，有

在引入λ参数后，式（4.3.4）可化为

式中：I 为单位矩阵；Jk为雅可比矩阵式。

对于式（4.3.5）有，当λ＝0，成为牛顿法；当λ很大时，成为梯度下降法。可见，Levenberg-Marquardt算法是梯度下降法和牛顿法的结合，比常用的梯度下降法快得多，但需要更多的内存。

关于LMBP算法的迭代过程，包括以下步骤。(www.daowen.com)

1）输入有关数据，利用正向传递公式计算相应的网络输出和误差eq＝tq－yq，计算所有输入的平方误差和

式中：Q为样本数；tq为实测值；yq为计算值。

2）计算雅可比矩阵式J。

3）利用式（4.3.5）计算wk＋1。

4）将wk＋1代入网络重复计算平方误差之和。如果新的值小于第一步计算的值，则用λ除以θ＞1，接受wk＋1；如果新的值没有减小，则用λ乘以θ＞1，转到步骤3），重新计算wk＋1。

5）当达到最大训练步数或平方误差和小于某个设定的目标误差，认为收敛。