双向联想记忆.ppt

双向联想记忆
第一页，课件共14页
双向联想记忆网络是一种异联想(hetero-association)的双层神经网络
记忆存储的样本是二元数据对{ },
A,B分属不同维量的向量空间
输入 或 ，经过双向反馈不断提高回忆联向精度，网络稳定输出{ }或足够逼近{ }。
概述
第二页，课件共14页
网络结构
A
B
两层结构，A层是m维，B层是p维。两者都可以作为输入层或
输出层
每个神经元与本层其他神经元无连接，而和另一层全部神经元
连接。
欲被联想的模式从某一层输入，经过双向反馈联想计算，最终
趋于稳定，得到输出。
神经元对输入加权和进行非线性处理。
第三页，课件共14页
双向反馈联想计算
在t时刻，A层输入 ，经计算可得B层
的输出 其中，单元j的输出为：
也可以用阶跃函数
φ
第四页，课件共14页
记忆--权重学习
设有N个样本 ，采用基于Hebb规则的外积法得：
正向联想存储器： 矩阵
反向联想存储器： 矩阵
第五页，课件共14页
记忆--权重学习例
样本：
→
输入
联想：
第六页，课件共14页
BAM稳定性
与Hopfield网络类似，BAM的样本存储在能量极小处
Kosko定义了系统的能量函数：
（标量转置为其本身）
类似Hopfield可以证明：沿着状态空间
中的离散轨迹，
总有
而对所有的A和B，E总是有界，即
( 令θ=0)
第七页，课件共14页
BAM稳定性
如果将离散BAM 的差分状态改成下列的微分方程式，就会得到连续BAM (continuous bidirectional associative memory)：
其中，Ii 以及 I’j 为正值常数。
第八页，课件共14页
BAM稳定性
根据 Kosko 的研究，BAM 的最大记忆容量为：
，更保守的估计应该不会超过
BAM的状态改变，不管是用同步 (synchronization) 或异步 (asynchronization) 的方式，都会收敛至双向稳定状态。
联想记忆的性能取决于吸引子的尺寸、存储容量和收敛时间。
所存模式的正交性或统计可分离性影响网络的记忆和回忆能力。
第九页，课件共14页
BAM稳定性
Kosko(1987)：
基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。
当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网
第十页，课件共14页