(Caffe)基本类Filter(五)

本文从CSDN上转移过来:
http://blog.csdn.net/mounty_fsc/article/details/51699568

Filter类在Caffe中用来初始化权值大小,有如下表的类型:

类型 派生类 说明
constant ConstantFiller 使用一个常数(默认为0)初始化权值
gaussian GaussianFiller 使用高斯分布初始化权值
positive_unitball PositiveUnitballFiller
uniform UniformFiller 使用均为分布初始化权值
xavier XavierFiller 使用xavier算法初始化权值
msra MSRAFiller
bilinear BilinearFiller

1 xavier

使用分布 $ x \sim U(-\sqrt{3/n}, +\sqrt{3/n}) $ 初始化权值$ w $ 为。总的来说$n$的值为输入输出规模相关,公式如下:

$$n=\left {
\begin{aligned}
& fan_in &default \
& \frac{fan_in + fan_out}{2} & variance_norm=AVERAGE \
& fan_out & variance_norm=FAN_OUT
\end{aligned}
\right.
$$

$$\left {
\begin{aligned}
& fan_in = blob.count / blob.num \
& fan_out = blob.count / blob.channels
\end{aligned}
\right.
$$

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容