LSTM

长短期记忆网络，是神经网络架构的衍生，常常用于处理时序数据。

独立单元

输入部分：

• c 表示 LSTM 的内部状态，代表了长期记忆，仅在 LSTM 内部运转
• a 表示 LSTM 的隐藏状态，代表短期记忆
• x 表示对单元的输入

门控部分：

• 遗忘门 forget gate，计算对 c 的遗忘程度
• 输入门 update gate，计算对 c 的更新
• 输出门 output gate，计算 o 的输出值大小

直觉： LSTM 模型一并考虑了长期记忆和短期记忆，注意短期记忆在 LSTM 构成的网络中是可以流动的，而长期记忆是驻留在每个 LSTM 单元中的。

公式

$$\begin{array}{rl}{\Gamma }_f^t& =\sigma \left(W_f\cdot [a_{t-1},x_t]+b_f\right)\\ {\Gamma }_i^t& =\sigma \left(W_i\cdot [a_{t-1},x_t]+b_i\right)\\ {\tilde{c}}_t& =\tanh \left(W_c\cdot [a_{t-1},x_t]+b_c\right)\\ c_t& =f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t\\ {\Gamma }_o^t& =\sigma \left(W_o\cdot [a_{t-1},x_t]+b_o\right)\\ a_t& =o_t\odot \tanh (c_t)\end{array}$$

应用

上图表示了 LSTM 构成的一个典型网络。用于处理时序数据。