AutoML搜索空间过大的问题,3个解决方法:
基础搜索方法——慢
-
基于采样的方法——无法获取导数信息,只有函数值
2.1. 基于强化学习
热点
效率提升:每次扔掉表现不好的参数中的一半
用不同采样率进行多保真度学习,没有抛弃整个数据集
-
组合优化:淘汰表现不好的worker,然后热启动加入新的worker,此方法表现较好
泛化性:集成学习
理论角度看AutoML
没有免费午餐定理:没有一个算法能解决所有问题
2.希望找到一类算法可以解决一部分问题AutoML目标是寻找更通用的机器学习算法,本质还是机器学习
应用
提交算法,看不到训练集和测试集,进行盲测,NIPS2018加入了动态数据的场景(如用户兴趣发生变化)
图像数据
表数据未来方向
1.全流程优化
2.样本复杂度学件的思想
目前多做优化,未来可能会多做泛化
安全性问题,应对攻击、噪声、保护隐私
具体领域如金融、医疗
理论的bound,可以画多大圈