循环神经网络
具体内容(附代码)链接：https://www.kesci.com/org/boyuai/project/5e42c3ad5f2816002ce979b0
代码讲解视频链接：伯禹学习平台
选择题
1.
关于循环神经网络描述错误的是：
A.在同一个批量中，处理不同语句用到的模型参数Wh和bh是一样的
B.循环神经网络处理一个长度为T的输入序列，需要维护T组模型参数
C.各个时间步的隐藏状态Ht不能并行计算
D.可以认为第tt个时间步的隐藏状态Ht包含截止到第t个时间步的序列的历史信息
答案：B
选项A：批量训练的过程中，参数是以批为单位更新的，每个批次内模型的参数都是一样的。
选项B：循环神经网络通过不断循环使用同样一组参数来应对不同长度的序列，故网络的参数数量与输入序列长度无关。
选项C：隐状态Ht的值依赖于H1,...,Ht−1，故不能并行计算。
2.
关于梯度裁剪描述错误的是：
A.梯度裁剪之后的梯度小于或者等于原梯度
B.梯度裁剪是应对梯度爆炸的一种方法
C.裁剪之后的梯度L2范数小于阈值θ
D.梯度裁剪也是应对梯度消失的一种方法
答案：D
3.
关于困惑度的描述错误的是：
A.困惑度用来评价语言模型的好坏
B.困惑度越低语言模型越好
C.有效模型的困惑度应该大于类别个数
答案：C
一个随机分类模型（基线模型）的困惑度等于分类问题的类别个数，有效模型的困惑度应小于类别个数。
4.
关于采样方法和隐藏状态初始化的描述错误的是：
A.采用的采样方法不同会导致隐藏状态初始化方式发生变化
B.采用相邻采样仅在每个训练周期开始的时候初始化隐藏状态是因为相邻的两个批量在原始数据上是连续的
C.采用随机采样需要在每个小批量更新前初始化隐藏状态是因为每个样本包含完整的时间序列信息
答案：C
随机采样中每个样本只包含局部的时间序列信息，因为样本不完整所以每个批量需要重新初始化隐藏状态。
