RNN简介及实现-－金锄头文库

RNN简介及实现 RNN类别 LSTM为例元胞状态 Cell State 元胞状态有点像是传送带它直接穿过整个链同时只有一些较小的线性交互上面承载的信息可以很容易地流过而不改变STM 有能力对元胞状态添加或者删除信息这种能力通过一种叫门的结构来控制门是一种选择性让信息通过的方法它们由一个 Sigmoid神经网络层和一个元素级相乘操作组成遗忘门 LSTM的第一步是决定我们将要从元胞状态中扔掉哪些信息该决定由一个叫做遗忘门 Forget Gate 的Sigmoid层控制输入门首先有一个叫做输入门 Input Gate 的Sigmoid层决定我们要更新哪些信息接下来一个tanh层创造了一个新的候选值更新元胞元胞状态由前一个细胞状态的过滤与当前输入自过滤决定输出门最终的输出输出将会基于目前的元胞状态并且会加入一些过滤首先我们建立一个Sigmoid层的输出门 Output Gate 来决定我们将输出元胞的哪些部分然后我们将元胞状态通过tanh之后使得输出值在 1到1之间与输出门相乘这样我们只会输出我们想输出的部分代码解析输入层 LSTM层输出层 LSTM层输出层模型