随机初始化
将所有θ权重初始化为零不适用于神经网络。
具体来说,以上问题叫做对称现象。所以,初始化也被称作打破对称。所以我们进行初始化的操作目的就是打破对称,而初始区间就是在特定范围内是一种我们用的标记。 所以,权值参数 将会在这个范围内生成。
当我们反向传播时,所有节点将重复更新为相同的值。 相反,我们可以使用以下方法随机初始化\ThetaΘ矩阵的权重:
(注意:上面使用的epsilon与Gradient Checking中的epsilon无关)
随机初始化
将所有θ权重初始化为零不适用于神经网络。
具体来说,以上问题叫做对称现象。所以,初始化也被称作打破对称。所以我们进行初始化的操作目的就是打破对称,而初始区间就是在特定范围内是一种我们用的标记。 所以,权值参数 将会在这个范围内生成。
当我们反向传播时,所有节点将重复更新为相同的值。 相反,我们可以使用以下方法随机初始化\ThetaΘ矩阵的权重:
(注意:上面使用的epsilon与Gradient Checking中的epsilon无关)