1.如果我们用nn.MSELoss()替换nn.MSELoss(reduction='sum'),为了使代码的行为相同,需要怎么更改学习率?为什么?
reduction默认为mean均值,修改为sum之后,loss变大了,所以要减小lr。
2.查看PyTorch文档,了解提供了哪些损失函数和初始化方法。用Huber损失来代替。
3. 你如何访问net[0].weight的梯度?
net[0].weight.grad
1.如果我们用nn.MSELoss()替换nn.MSELoss(reduction='sum'),为了使代码的行为相同,需要怎么更改学习率?为什么?
reduction默认为mean均值,修改为sum之后,loss变大了,所以要减小lr。
2.查看PyTorch文档,了解提供了哪些损失函数和初始化方法。用Huber损失来代替。
3. 你如何访问net[0].weight的梯度?
net[0].weight.grad