算法基础知识(全连接层、LSTM、激励函数)

1、全连接层作用:

全连接的一个作用是维度变换,尤其是可以把高维变到低维,同时把有用的信息保留下来。

全连接另一个作用是隐含语义的表达(embedding),把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言,就是分类的显示表达


2、简述LSTM如何解决梯度消失

LSTM有能力向单元状态中移除或添加信息,通过门结构来管理,包括“遗忘门”,“输出门”,“输入门”。通过门让信息选择性通过,来去除或增加信息到细胞状态. 模块中sigmoid层输出0到1之间的数字,描述了每个成分应该通过门限的程度。0表示“不让任何成分通过”,而1表示“让所有成分通过!

一个对RNN和LSTM分析比较好的连接(注意理解体会一下他说的公式)


3、激励函数:

作者这篇激励函数写的也很好(我们实际中一般遇见都是非线性问题,所以对特征做了加权线性操作需要通过非线性的激励函数做非线性的变换)

激励函数选择


4、BP的反向推导(详细参考)(参考2

神经网络图
输入输出变量
推导公式

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容