梯度值在RNN中也可能因为反向传播的层次太多导致过小或者过大。
当梯度值过小的时候，神经网络将无法有效地调整自己的权重矩阵导致训练效果不佳，称之为“梯度消失问题”(gradient vanishing problem)；
过大时可能直接影响到程序的运作因为程序已经无法存储那么大的值，直接返回 NaN ，称之为“梯度爆炸问题”(gradient exploding problem)。
当梯度值过大的时候有一个比较简便的解决方法，每次将返回的梯度值进行检查，如果超出了预定的范围，则手动设置为范围的边界值。
if (gradient > max) {
gradient = max
}
但梯度值过小的解决方案要稍微复杂一点，比如下面两句话：
“The cat，which already ate apple，yogurt，banana，..., was full.”
“The cats，which already ate apple，yogurt，banana，..., were full.”
重点标出的 cat(s)和be动词（was,were） 是有很重要的关联的，但是中间隔了一个which引导的定语从句，对于前面所介绍的基础的RNN网络很难学习到这个信息，尤其是当出现梯度消失时，而且这种情况很容易发生。
我们知道一旦神经网络层次很多时，反向传播很难影响前面层次的参数。所以为了解决梯度消失问题，提出了GRU单元，下面一节具体介绍。