- 全0初始化。
- 随机初始化(高斯随机化、均匀随机化)。
- 稀疏随机化(将权重全部初始化为0，然后为了打破对称性在里面随机挑选一些参数附上一些随机值)。
- 初始化偏置(bias)(通常初始化为0，因为权重已经打破了对称性，所以使用0来初始化是最简单的)。
- 批标准化(Batch Normalization)
- 核心想法就是标准化这个过程是可微的。
- 可以将标准化过程应用到神经网络的每一层中做向前传播和反向传播，通常批标准化应用在全连接层后面、非线性层前面。
- 可以理解为在网络的每一层前面都会做数据的预处理。
权重初始化
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 前言 神经网络中的权重（weight）初始化是个常常被忽略的问题。 最近在手写一个Python的神经网络库(Git...
- 梯度消失（Gradient Vanishing）就是梯度指数方式变小；梯度爆炸（Gradient Explodin...
