机器学习中的优化算法 第一课

机器学习中的优化算法 第一课


如果一个人的论文中的formulation不严谨，那么他的理论部分基本可以不看。


优化问题的一般formulation：\min _{\mathbf{x} \in \mathbb{R}^{n}} \frac{1}{m } \sum_{i=1}^{m} f_{i}(\mathbf{x})+\lambda \mathcal{R}(\mathbf{x}),一般f_{i},\mathcal{R}都是凸函数，如果要放开的话，那么\mathcal{R}有的时候是非凸的，比如在稀疏恢复的时候一些例子。


优化关心的两个问题：

1.收敛性（注意一定要收敛到满足一阶条件的点，不然是不合要求的收敛性证明）

2.收敛率


ML问题三要素：表达+评估+优化：


近年来的优化的应用领域：



No free lunch理论：A,B两种优化方法，对一个包含全部函数的空间里，perform on average equally well

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容