11.递归神经网络RNN

RNN(Recurrent Neural Network)

RNN称为循环神经网络或者递归神经网络。在过去几年RNN在语言识别，自然语言处理，翻译以及图像描述等领域有着非常好的应用。
处理图片分类的时候，可以把图片一张一张放入分类器中独立进行判断。但是处理语音以及文字的时候，不能把发音独立，也不能把文字独立，要连起来分析才行。传统的神经网络做不到这一点。

RNN有一个反馈回路，这个反馈回路会把上一个时间的输出信息，作为下一个时间的输入来处理。

The Problem of Long-Term Dependencies:
RNN一个重要的用法就是通过之前的信息来决策当前的问题。
例子1：有一朵云飘在（）
例子2：我从小生长在中国。。。我可以说一口流利的（）。

越到后面，前面对后面的预测影响就越小。

长短时记忆网络LSTM

LSTM(Long Short Term Memory):


LSTM网络是一种特殊的RNN，只不过有着更复杂的结构，在LSTM网络中使用了上图的block替换了原来隐藏层的神经元。

每一个门的输入都来各种自不同的信号，组成成分复杂。

这个是改进后的LSTM网络的结构，大体上和之前的版本是差不多的，主要是多了一个忘记门。忘记门是直接对细胞体进行操作的，本来输入输出门只是起到对信号流入和流出的控制，加上这个忘记门我们就可以控制细胞体里面的值，从而可以控制我们是要记住这个信号，还是慢慢忘记这个信号

每个门的输入都是相同的，不过他们起到的作用不同，输入门是负责控制输入信号的，输出门负责输出信号的，忘记门是用来决定是否忘记信号的。
总结就一句话，LSTM比常规RNN强，可以达到更好的效果。