LSTM学习介绍各种门介绍.docx

LSTM学习介绍,各种门介绍
LSTM学习介绍,各种门介绍
1/61
LSTM学习介绍,各种门介绍
一种特别的递归神经网络,可以学着信息很长一段时间几乎是它们固有的行为,而不是努力去学习,全部的递归神经网络都拥有一LSTM学习介绍,各种门介绍
LSTM学习介绍,各种门介绍
1/61
LSTM学习介绍,各种门介绍
一种特别的递归神经网络,可以学着信息很长一段时间几乎是它们固有的行为,而不是努力去学习,全部的递归神经网络都拥有一连串重复神经网络模块的形式。在标准的RNNs中,这类重复模块有一种特别简单的结构,比方单个tanh层。
LSTMs相同也有这类链状的结构,但是重复模块有着不一样的结构。它有四层神经网络层以特别的方式互相作用,而不是单个神经网络层。
在上边的图中,每条线表示一个完好向量,从一个节点的输出到其余节点的输入。粉红色圆圈代表逐点操作,比方向量加法,而黄色框框表示的是已学习的神经网络层。线条合并表示串通,线条分叉表示内容复制并输入到不一样地方。
LSTMs中心理念:
LSTMs的要点点是单元状态,就是穿过图中的水平线。LSTM有能力向单元状态中
移除或增加信息,经过结构来仔细管理称为门限。门限是有选择地让信息经过。
它们由一个sigmoid神经网络层和逐点乘法运算构成。
sigmoid层输出0到1之间的数字,描述了每个成分应该经过门限的程度。
0表
示“不让任何成分经过”,而1表示“让全部成分经过!”。LSTM有三种这样的门限,来保护和控制单元状态。
一步一步分析LSTM
LSTM中第一步是决定哪些信息需要从单元状态中扔掉。这项决策是由一个称为“忘记门限层”的sigmoid层决定的。它接收和,而后为单元状态中的每个数字计算一个0到1之间的数字。1表示“完好保留”,而0则表示“完好扔掉”。
:我们往返顾一下那个语言模型的例子,试图依据前面全部的词语来展望下
一个词。在这类问题中,单元状态可能包括当前主语的性别,因此可以使用正确的代词。当碰到一个新的主语时,我们希望它可以忘掉旧主语的性别。
LSTM学习介绍,各种门介绍
LSTM学习介绍,各种门介绍
2/62
LSTM学习介绍,各种门介绍
接下来我们需要决定在单元状态中需要储存哪些新信息。这分为两个部分。第一,一个叫做“输入门限层”的sigmoid层决定哪些值需要更新。接下来,一个tanh层创立一个向量,包括新候选值,这些值可以增加到这个状态中。下一步我们将会联合这二者来创立一个状态更新。
在语言模型的例子中,我们希望在单元状态中增加新主语的性别,来替代我们忘掉的旧主语性别。
此刻来更新旧单元状态了,输入到新单元状态。以前的步骤已经决定了需要做哪些事情,我们只需要实现这些事情就行了。
我们在旧状态上乘以,忘掉以前决定需要忘掉的。而后我们加上,这就是新的候选值,它的规模取决于我们决定每个状态值需要更新多少。
在语言模型的例子中,这里就是我们实质扔掉旧主语性别信息,依据以前步骤增加新信息的地方。
LSTM学习介绍,各种门介绍
LSTM学习介绍,各种门介绍
3/63
LSTM学习介绍,各种门介绍
最后,我们需要决定需要输出什么。这个输出将会建立在单元状态的基础上,但是个过滤版本。第一,我们运转一个