CNN
image.png
卷积核的深度和输入的深度一致，feature map的深度和卷积核的个数一致
RNN
包括双向循环神经网络、深度循环神经网络；循环神经网络的训练算法：BPTT
image.png
image.png
应用
我 昨天 上学 迟到 了
1.分词，向量化(one-hot或embedding)
2.获取输入-标签对
3.采用交叉熵误差函数，到这一步就比较类似word2vec了，可以用哈弗曼树或负采样
image.png
长短时记忆网络
基本的循环神经网络存在梯度爆炸和梯度消失问题，并不能真正的处理好长距离的依赖（虽然有一些技巧可以减轻这些问题），所以事实上，常用的是循环神经网络的一个变体：长短时记忆网络，可以很好的处理长距离的依赖
image.png
