MovieLens 1M lr grid search [0.0001,0.001,0.01,0.1,1]搜索

1）看train loss curve起码要基本正常，不能出现向上走的趋势。

往下走，可以有局部震荡。

下降速度太快可能是learning rate太大.

下降坡度太小，缓慢下降。

曲线初始时 上扬[红线]：

Solution：初始学习率过大 导致振荡，应减小学习率，并从头 开始训练。

曲线初始时 强势下降 没多久 归于水平[紫线]：

Solution：后期学习率过大 导致无法拟合，应减小学习率，并重新训练 后几轮。

曲线全程缓慢[黄线]：

Solution：初始学习率过小 导致收敛慢，应增大学习率，并从头 开始训练。

出自：https://blog.csdn.net/qq_33485434/article/details/80452941

https://blog.csdn.net/qq_33485434/article/details/80452941
有时候也不一定，所以要综合看training auc, acc,evaluating auc, acc, testing auc, acc.综合判定。

正常的train, eval, test auc, acc应该是逐步升高，在趋近于平缓。

我用book-crossing的parameter初始化MovieLens1M的超参数。

1）training loss curve

2) training/eval/test auc, acc curve

3) training/eval/test auc, acc txt

综合以上三个方面来看选择最正常的作为最终的最佳learning rate调节，记为lr_0

然后在选择1*lr_0, 2*lr_0, 5*lr_0，作为调节参数的grid调节。