3层网络，隐藏层全连接，顶部Softmax

3层全链接网络加入了学习率衰减，效果依然不好。

max_lr = 0.003

min_lr = 0.0001

decay_speed = 2000.0

learning_rate = min_lr + (max_lr - min_lr)*math.exp(-i/decay_speed)

Train Accuracy:  1.0，  Test Accuracy:  0.665

严重过拟合？

加入dropout，training pkeep=0.75 , testing pkeep=1.0.出来的是啥呀！

Train Accuracy:  1.0， Test Accuracy:  0.665

pkeep=0.55 有变化了

Train Accuracy:  1.0, Test Accuracy:  0.755

过拟合依然严重

减少网络节点数目。

K = 500 → 400 #hindden1的神经元

L = 100 → 50 #隐藏层2的神经元

pkeep:0.55

测试准确率稍微提高了一点，但训练准确度下降。而且，损失曲线仍不对，过拟合。

Train Accuracy:  0.9975， Test Accuracy:  0.77

2层全连接网络：更差

去掉一隐藏层，K = 400

pkeep:0.75

Train Accuracy:  1.0， Test Accuracy:  0.62

4层全连接网络

K = 400 #hindden1的神经元

L = 50 #隐藏层2的神经元

M = 10 #隐藏层3

max_lr = 0.003

min_lr = 0.0001

pkeep:0.75

Train Accuracy:  0.98625， Test Accuracy:  0.705

版权所有，转载请注明出处。