凸函数一阶优化的复杂度下界

对于梯度下降等凸函数优化方法,我们都是给定一个初始点,然后每次计算当前点的梯度,然后沿着逆梯度方向去寻找最优点,所以最终找到的点都可以表示成初始点和一系列导数的线性组合,形式如下:

解的形式,x0为初始点

本节要证明的主要定理是:满足一阶利普希茨连续的凸函数,通过一阶方法进行优化,经过k(1<=k<=(n-1)/2)次迭代之后,误差的下界是:

误差下界

注意:因为要求的是下界,所以f(x)应该是最难解的函数,书中给出的f(x)二次函数族的形式是(为什么只考虑二次函数族,又为什么这种形式最难解?),这个证明实际上给出了这个二次函数族的下界:

f(x)的形式

这个函数可以构造出如下解:

构造解

将构造解带入方程可以得到方程的最优解:

方程最优解

固定某个k,假设我要求的是f2k+1(x)的最优解,则

第一个式子证明
第二个式子证明
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容