长短期记忆网络(LSTM)和其他递归神经网络中的神经元有以下三个不同点:
它可以决定何时让输入进入神经元
它可以决定何时记住上一个时间步中计算的内容
它可以决定何时让输出传递到下一个时间戳LSTM的强大之处在于它可以只基于当前的输入就决定上述所有。请看下方的表:
当前时间戳的输入信号x(t)决定了上述三点。
输入门(input gate)决定了点,
遗忘门(forget gate)决定了第二点,
输出门(output gate)决定了第三点。只依赖输入就可以完成这三项决定。这是受到大脑工作机制的启发,大脑可以基于输入来处理突然的上下文语境切换。