增加隐层数量比增加隐层神经元个数更有效,因为增加了激活函数嵌套的层数。
多隐层网络难以用BP算法训练,因为误差会“发散” -梯度消失,导致不能收敛
无监督逐层训练(unsupervised layer-wise training):
预训练+微调
权共享:
即让一组神经元使用相同的连接权,常用于CNN
增加隐层数量比增加隐层神经元个数更有效,因为增加了激活函数嵌套的层数。
多隐层网络难以用BP算法训练,因为误差会“发散” -梯度消失,导致不能收敛
无监督逐层训练(unsupervised layer-wise training):
预训练+微调
权共享:
即让一组神经元使用相同的连接权,常用于CNN