理论教育 Hopfield神经网络:原理与应用

Hopfield神经网络:原理与应用

时间:2023-06-17 理论教育 版权反馈
【摘要】:设离散Hopfield神经网络中神经元的偏差均为零。Hopfield神经网络的运行步骤:第一步:设定记忆模式。2)Hopfield神经网络的记忆容量就是在一定的联想出错概率容限下,网络中存储互不干扰样本的最大数目。实验和理论研究表明,Hopfield神经网络记忆容量的上限为0.15N。3)Hopfield神经网络存在伪状态,伪状态是指除记忆状态之外网络多余的稳定状态。因此,零空间存在于网络中,零空间是Hopfield神经网络的一个固有特性,即Hopfield神经网络不可避免地存在着伪状态。

Hopfield神经网络:原理与应用

Hopfield神经网络是一种神经动力学系统,具有稳定的平衡状态,即存在着吸引子,因而Hopfield神经网络具有联想记忆功能。将Hopfield神经网络作为联想记忆网络需要设计或训练网络的权值,使吸引子存储记忆模式。比如,现在欲存储mn维记忆模式,那么就要设计网络的权值使这个m个模式正好是网络能量函数的m个极小值。常用的设计或学习算法有:外积法(Outer Product Method)、投影学习法(Projection Learning Method)、违逆法(Pseudo Inverse Method)及特征结构法(Eigen Structure Method)等。

设网络有N个神经元,每个神经元均取1或-1两个值,则网络共有2N个状态,这2N个状态构成离散状态空间。设在网络中mn维记忆模式为

采用外积法设计网络的权值,使这种m个模式是网络2N个状态空间中的m个稳定状态,即

式中的1/N作为调节比例的常量,这里取N=n。考虑到离散Hopfield神经网络的权值满足如下条件:wij=wjiwi=0,则有

将式(2-7)用矩阵形式表示,则有

式中,In×n单位矩阵

以上是离散Hopfield神经网络的存储记忆过程,下面再看其联想回忆过程。从所记忆的m个模式中任选设一模式Ul,经过编码可使其元素取值1和-1。设离散Hopfield神经网络中神经元的偏差均为零。将模式Ul加到该离散Hopfield神经网络,假定记忆模式向量彼此是正交的(这个是特例,容易检验),则网络的状态为

状态的演化为sgn=(WUl)=sgn((n-mUl)=Ul,可见网络稳定在模式Ul

例如,对于两个记忆模式(1,-1,1)和(-1,1,-1)(这是一个记忆模式向量非正交的例子),按式(2-7)设计网络权值为

可见该权值满足离散Hopfield网络的的条件。现将(1,-1,1)作为网络的输入,则有

可见状态(1,-1,1)为网络的稳定状态,即网络记住了该状态。同样,对状态向量(-1,1,-1)而言,有

可见状态(-1,1,-1)也是网络的稳定状态,即网络也记住了该状态。

Hopfield神经网络的运行步骤:

第一步:设定记忆模式。将欲存储的模式进行编码,得到权值为1和-1的记忆模式为

第二步:设计网络的权值。(www.daowen.com)

式中,wij是神经元ji突触权值,一旦计算完毕,突触权值将保持不变。

第三步:初始化网络状态。将欲识别模式U′=[u′1u′2,…,u′i,…,u′n]T设为网络状态的初始状态,即vi(0)=u′ivi(0)是网络中任意神经元it=0时刻的状态。

第四步:迭代收敛。根据公式

随机地更新某一神经元的状态,反复迭代直至网络中所有神经元的状态不变为止,假设此时的t=T

第五步:网络输出。这时的网络状态(稳定状态)即为网络的输出y=viT)。

以上的第一步和第二步是神经网络记忆过程,第三步至第五步所组成的迭代过程是神经网络的联想过程。

对于以上所介绍的Hopfield神经网络,需要做几点说明:

1)以上所介绍的Hopfield神经网络的激励函数为符号函数,即神经元的状态取1和-1的情况。对于神经网络的激励函数为阶跃函数,即神经元的状态取1和0时,相应的公式有所变化。设在网络中存储mn维的记忆模式(mn):

Uk=[uk1u2k,…,ujk,…,ukn]T

k=1,2,…,mi=1,2,…,nuki∈{0,1}) (2-11)

uki∈{-1,1}的情况,前面已经讨论过了,而当uki∈{0,1}时,可以进行一个变换,即使得(2uki-1)∈{-1,1},所以用(2uki-1)代换前面公式中的uki即可。

2)Hopfield神经网络的记忆容量就是在一定的联想出错概率容限下,网络中存储互不干扰样本的最大数目。记忆容量∂反映所记忆的模式m和神经元数目N之间的关系:∂=m/N。记忆m个模式所需的神经元数N=m/∂,连接权值数目为(m/∂)2,若∂增加一倍,连接权值数目将为原来的1/4,这是一对矛盾,在技术实现上也是很困难的。实验和理论研究表明,Hopfield神经网络记忆容量的上限为0.15N

3)Hopfield神经网络存在伪状态(Spurious State),伪状态是指除记忆状态之外网络多余的稳定状态。从以上对Hopfield神经网络的分析可见,要构成一个对所有输入模式都很合适的Hopfield神经网络是很不容易的,需要满足的条件是很苛刻的。所记忆的模式m过大,权值矩阵W中会存在若干个相同的特征值;所记忆的模式m小于神经元的数目N,权值矩阵W中会存在若干个0,构成所谓的零空间。因此,零空间存在于网络中,零空间是Hopfield神经网络的一个固有特性,即Hopfield神经网络不可避免地存在着伪状态。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈