=LSTM=
LSTM是RNN的一个改进，LSTM增加了一个主输入单元和其他三个辅助的门限输入单元：
记忆单元（memory cell）、输入门（input gate）、遗忘门（forget gate）及输出门（output gate）。
三个辅助输入分别控制网络是否输入，是否存储输入以及是否输出。
输入门（Input gate）控制是否输入，遗忘门（Forget gate）控制是否存储，输出门（Output gate）控制是否输出。
辅助单元可以寄存时间序列的输入，在训练过程中会利用后向传播的方式进行。
记忆单元和这些门单元的组合，大大提升了RNN处理远距离依赖问题的能力 ，解决RNN网络收敛慢的问题。
=GRU=
GRU （Gated Recurrent Unit）是Cho等提出的LSTM的简化版本，也是RNN的一种扩展。
GRU单元只有两个门：
重置门（reset gate），如果重置门关闭，会忽略掉历史信息，即历史不相干的信息不会影响未来的输出。
更新门（update gate），将LSTM的输入门和遗忘门合并，用于控制历史信息对当前时刻隐层输出的影响。如果更新门接近1，会把历史信息传递下去。
=参考文献=
[x] Long short term memory neural computation, Neural computation 9 (8), 1735-1780, 1997.
[x] K. Cho et al., On the Properties of Neural Machine Translation Encoder-Decoder Approaches, SSST-8, 2014.
[x] Connectionist temporal classification labelling unsegmented sequence data with recurrent neural networks, ICML 2006.
[x] Speech recognition with deep recurrent neural networks, ICASSP 2013.
[x] Towards End-To-End Speech Recognition with Recurrent Neural Networks, ICML 2014.
[x] Speech 2 End-to-End Speech Recognition in English and Mandarin, JMLR 2016.