输入 x1 单词对应一个embedding，Ex1
输出 y' = [y1', y2', ...] （任务不同，使用的y不同：词性标注，每个y'都要；情感分类，仅需要最后一个yt'）
隐层 h2 = tanh(w_h1*h1 + w_xh2 * Ex2 + b_l1)
y2' = g(w_hy2 * h2 + b_l2)
y2' 是 (0.01, 0.02, 0.001, ....) R|V|, 词库里每个单词的概率
groundtruth y2 = (0,0,1,...) R|V|, 表示x3这个词的独热编码
损失函数 l_t2 = loss(y2, y2')
需要学习的参数：{ W_xh, W_h, W_hy, b_ln, Ex}
image.png
语言模型回顾：P_lm(S) = P_lm(w1,w2,...,wn)
为什么RNN会出现梯度爆炸或者消失的问题?
1.RNN是深度学习模型，在时间维度上的叠加，和普通的NN堆叠不一样。当然也可以在空间上堆叠多层
梯度消失和梯度爆炸
LSTM
- 参考https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21
LSTM内部结构
LSTM是用来解决RNN的梯度问题，起到了有效缓解作用
LSTM比RNN多出了几个门，用来控制信息的流动
LSTM的效率要比RNN低，毕竟计算上多出了更多步骤
LSTM能比RNN捕获更长的依赖关系
FAQ
1.为什么门控(遗忘门、输入门、输出门)用sigmoid做激活函数，而求值(ct~, ht)是用tanh做激活函数？
答：该问题分为3个子问题回答。
1）为什么因为门控和求值用不同的激活函数？因为门是控制开闭的，全开时值为０，全闭值为０。有开有闭时，值在０到１之间。
对于求值时的激活函数，选取时我认为与深层网络中激活函数选取是一样的，没有行与不行，只有好与不好。
2）为什么使用sigmoid函数与tanh函数这种“饱和函数”？LSTM应该需要饱和的门来记住或忘记信息，不饱和的门会使得过去和现在的记忆一直在叠加，造成记忆错乱。饱和门也就是说在输入达到一定值的情况下，输出就不会发生明显变化了。如果是用非饱和的激活图数，例如ReLU，那么将难以实现门控的效果。
3）为什么使用sigmoid函数与tanh函数？
关键点：归一化，0中心；收敛快
使用tanh函数生成候选记忆，是因为其输出在-1-1之间，这与大多数场景下特征分布是0中心的吻合。此外，tanh函数在输入为0近相比 sigmoid函数有更大的梯度，通常使模型收敛更快。使用sigmoid函数，一是由于门控需要0-1的值域，二是经验习得。
"""
LSTM伪代码
"""
def LSTMCell(x, h, c):
data = concat(h,x)
# 遗忘门
forget_gate = sigmoid(W_f · data + b_f)
# 输入门
input_gate = sigmoid(W_i · data + b_i)
# 输出门
output_gate = sigmoid(W_o · data + b_o)
# 生成候选记忆
c_t~ = tanh(W_c · data + b_c)
# 生成当前记忆
c_t = forget_gate · c_t-1 + input_gate · c_t~
# 输出
ht = output_gate · tanh(c_t)
return ct, ht
image.png
image.png
情感分类代码
网络定义
image.png
depth（num_layers） 指的是多层LSTM，一般只有一层。
LSTM API结构
关于h0 c0初始化：
image.png
调用示例
一般翻译的话用 output，分类用hn
image.png
self.decoder 是一个二分类，单向LSTM的话，需要*2，是因为二分类
from_pretrained(), 用一个已经训练好的weight
require_grad = False, weight不需要梯度下降来更新
permute ，维度调换
初始状态和最终状态concate 是因为是双向LSTM
导入初始weight
训练过程1
训练过程2
扩展API
image.png
image.png
