推荐系统调参数-ripplenet

MovieLens 1M lr grid search [0.0001,0.001,0.01,0.1,1]搜索

1)看train loss curve起码要基本正常,不能出现向上走的趋势。

往下走,可以有局部震荡。

下降速度太快可能是learning rate太大.

下降坡度太小,缓慢下降。

曲线初始时 上扬[红线]:

Solution:初始学习率过大 导致振荡,应减小学习率,并从头 开始训练。

曲线初始时 强势下降 没多久 归于水平[紫线]:

Solution:后期学习率过大 导致无法拟合,应减小学习率,并重新训练 后几轮。

曲线全程缓慢[黄线]:

Solution:初始学习率过小 导致收敛慢,应增大学习率,并从头 开始训练。

出自:https://blog.csdn.net/qq_33485434/article/details/80452941

https://blog.csdn.net/qq_33485434/article/details/80452941
有时候也不一定,所以要综合看training auc, acc,evaluating auc, acc, testing auc, acc.综合判定。

正常的train, eval, test auc, acc应该是逐步升高,在趋近于平缓。

我用book-crossing的parameter初始化MovieLens1M的超参数。

1)training loss curve

2) training/eval/test auc, acc curve

3) training/eval/test auc, acc txt

综合以上三个方面来看选择最正常的作为最终的最佳learning rate调节,记为lr_0

然后在选择1*lr_0, 2*lr_0, 5*lr_0,作为调节参数的grid调节。


©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容