2018-11-22-AutoML

image.png

AutoML搜索空间过大的问题，3个解决方法：

1. 基础搜索方法——慢

2. 基于采样的方法——无法获取导数信息，只有函数值

   
   
   image.png
   
   
   2.1. 基于强化学习
   image.png
   
   
   image.png
   
   
   image.png

3. 热点

4. 效率提升：每次扔掉表现不好的参数中的一半

5. 用不同采样率进行多保真度学习，没有抛弃整个数据集

6. 组合优化：淘汰表现不好的worker，然后热启动加入新的worker，此方法表现较好

   
   
   image.png

7. 泛化性：集成学习

8. 理论角度看AutoML

9. 没有免费午餐定理：没有一个算法能解决所有问题
   2.希望找到一类算法可以解决一部分问题

10. AutoML目标是寻找更通用的机器学习算法，本质还是机器学习

11. 应用
    提交算法，看不到训练集和测试集，进行盲测，NIPS2018加入了动态数据的场景（如用户兴趣发生变化）
    图像数据
    表数据

12. 未来方向
    1.全流程优化
    2.样本复杂度

13. 学件的思想

14. 目前多做优化，未来可能会多做泛化

15. 安全性问题，应对攻击、噪声、保护隐私

16. 具体领域如金融、医疗

17. 理论的bound，可以画多大圈