实验条件:
模型:线性回归
数据:x 为 [0, n] 加上随机数,y 为 [100, n+100]
w 初始化值:0.1
b 初始化值:-0.4
对比指标:w 和 b
1、未归一化
x:[0.6504761111286659, 1.4679718389754555, 2.6784720347616546, 3.953296220040032, ...]
y:[100.0, 101.0, 102.0, 103.0, 104.0, 105.0, 106.0, 107.0, 108.0, ...]
W: nan
b: nan
2、归一化后
x:[0.008199465307034054, 0.01941436298647198, 0.02372111377049773, 0.03254903844044677, ...]
y:[1.0, 1.01, 1.02, 1.03, 1.04, 1.05, 1.06, 1.07, 1.08, 1.09, 1.1, 1.11, ...]
W: 1.0020390748977661
b: 0.9938741326332092
由此可见,不经过归一化,由于梯度爆炸的问题,导致模型失去了学习能力。
而经过归一化后,可以有效避免梯度爆炸,所以模型学习出来了比较好的 w 和 b