为什么要超参数搜索
- 神经网络有很多训练过程中不变的参数
- 网络结构参数 : 网络的层数,没层的宽度,每层激活函数等
- 训练参数 : batch_size ,学习率,学习率衰减算法等
- 人工调参费时费力
搜索策略
-
网格搜索
- 定义n维方格
- 每个方格对应一组超参数
-
一组组参数尝试
网格搜索
-
随机搜索
- 参数的生成方式随机
-
可探索的空间更大
QQ图片20200108154606.png
-
遗传算法搜索
- 对自然界的模拟
- A.初始化候选参数集合->训练->得到模型指标作为生存概率
- B.选择->交叉(杂交?)->变异->产生下一代集合
- C.重复A.B.
-
启发式搜索
- 研究热点-AutoML
- 使用循环神经网络来生成参数
- 使用强化学习来进行反馈,使用模型来训练生成参数
