使用循环计算的网络即循环神经网络
循环神经网络的隐藏状态可以捕捉截至当前时间步的序列的历史信息
循环神经网络模型参数的数量不随时间步的增加而增长
可以基于字符级循环神经网络来创建语言模型
可以用基于字符级循环神经网络的语言模型来生成文本序列,例如创作歌词
当训练循环神经网络时,为了应对梯度爆炸,可以裁剪梯度
困惑度是对交叉熵损失函数做指数运算后得到的值。
建模步骤:
读取数据集
建立字符索引(one-hot向量)
初始化模型参数
定义模型
定义预测函数
裁剪梯度
定义模型训练函数
训练模型并创作歌词