深度学习入门之GRU

原文链接：https://zhuanlan.zhihu.com/p/32481747

这里的内容是对台大李宏毅老师课程视频的一些记录以及自己的一些整理和思考。

1. 什么是GRU

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。

GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢。

下图1-1引用论文中的一段话来说明GRU的优势所在。

简单译文：我们在我们的实验中选择GRU是因为它的实验效果与LSTM相似，但是更易于计算。

简单来说就是贫穷限制了我们的计算能力…

相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。

OK，那么为什么说GRU更容易进行训练呢，下面开始介绍一下GRU的内部结构。

2. GRU浅析

2.1 GRU的输入输出结构

GRU的输入输出结构与普通的RNN是一样的。

有一个当前的输入 $x^t$，和上一个节点传递下来的隐状态（hidden state）$h^{t-1}$ ，这个隐状态包含了之前节点的相关信息。

结合 $x^t$ 和 $h^{t-1}$，GRU会得到当前隐藏节点的输出 $y^t$ 和传递给下一个节点的隐状态 $h^t$ 。

图2-1 GRU的输入输出结构

那么，GRU到底有什么特别之处呢？下面来对它的内部结构进行分析！

2.2 GRU的内部结构

首先，我们先通过上一个传输下来的状态$h^{t-1}$ 和当前节点的输入 $x^t$ 来获取两个门控状态。如下图2-2所示，其中 $r$ 控制重置的门控（reset gate），$z$ 为控制更新的门控（update gate）。

Tips： σ 为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。