记录一下对RNN,LSTM,GRU基本原理（正向过程以及简单的反向过程）的个人理解-------------------#RNNRecurrent Neural Networks，循环神经网络（注意区别于recursive neural network，递归神经网络）####RNN结构单元结构####数学描述回忆一下单隐含层的前馈神经网络输入为$\mathbf{X}\in\mathbb{R}^{n\timesx}$（n个维度为x的向量）隐含层输出为$$\mathbf{H}=\phi(\mathbf{X}\mathbf{W}_{xh}+\mathbf{b}_h)$$输出层输入$\mathbf{H}\in\mathbb{R}^{n\timesh}$输出为$$\hat{\mathbf{Y}}=\text{softmax}(\mathbf{H}\mathbf{W}_{hy}+\mathbf{b}_y)$$现在对$\mathbf{X}$、$\mathbf{H}$、$\mathbf{Y}$都加上时序下标同时引入一个新权重$\mathbf{W}_{hh}\in\mathbb{R}^{h\timesh}$得到RNN表达式$$\mathbf{H}_t =\phi(\mathbf{X}_t\mathbf{W}_{xh}+\mathbf{H}_{t-1}\mathbf{W}_{hh}+\mathbf{b}_h)$$ $$\hat{\mathbf{Y}}_t =\text{softmax}(\mathbf{H}_t\mathbf{W}_{hy}+\mathbf{b}_y)$$$\mathbf{H}_0$通常置零####通过时间反向传播和随之带来的问题输入为$\mathbf{x}_t\in\mathbb{R}^x$不考虑偏置隐含层为$$\mathbf{h}_t =\phi(\mathbf{W}_{hx}\mathbf{x}_t+\mathbf{W}_{hh}\mathbf{h}_{t-1})$$则损失函数为$$L =\frac{1}{T}\sum_{t=1}^T\ell(\mathbf{o}_t, y_t)$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
2018-02-10
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
