SVM第四课

上节课学到:

将求解超平面的问题转化为如下问题

图片.png

引入

拉格朗日乘子法

(求解有约束条件下的最优化问题的算法)

拉格朗日函数

拉格朗日函数

由于:

图片.png

所以:

图片.png

因此,原问题为极小极大问题:

图片.png

原问题的对偶问题,是极大极小问题:

图片.png

由于约束条件是线性的,而目标函数是凸函数(二次),所以对偶问题的解就是原问题的解,这个在凸优化部分有证明,这里先留下疑问~

现在求解以上问题,首先确定大致思路如下:

  • 先求最小问题,L(w, b, a),分别对wb求偏导,并令偏导等于0,得到一个w = balabala 和一个 b = balabala 的式子
  • 将该式子代回 L(w, b, a),会将wb消掉(一定会?),这样就得到一个关于a的式子——L(a)
  • L(a)求关于a的导数,就可以得到解

求解步骤

  • 将拉格朗日函数 L(w, b, a) 分别对wb求偏导,并令偏导等于0:
图片.png
图片.png
  • 代入wb,计算拉格朗日的对偶函数
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 【概述】 SVM训练分类器的方法是寻找到超平面,使正负样本在超平面的两侧(分类正确性即“分得开”),且样本到超平面...
    sealaes阅读 11,622评论 0 7
  • 机器学习是做NLP和计算机视觉这类应用算法的基础,虽然现在深度学习模型大行其道,但是懂一些传统算法的原理和它们之间...
    在河之简阅读 20,932评论 4 65
  • 注:题中所指的『机器学习』不包括『深度学习』。本篇文章以理论推导为主,不涉及代码实现。 前些日子定下了未来三年左右...
    我偏笑_NSNirvana阅读 40,580评论 12 145
  • 俗话说婚姻有七年之痒,未经历之前不相信,当我走过之后回头看看,才发现有些俗话还是非常有道理的。 结婚多年的我,早过...
    山青云淡阅读 442评论 3 4
  • 这是一个关于木木的爱情故事。 木木大学毕业,一个人,不认命,只任性,甩手,从离家很远的银川,义无反顾的踏入北京这座...
    黄本黄阅读 573评论 7 6

友情链接更多精彩内容