[机器学习入门] 李宏毅机器学习笔记-23（Support Vector Machine；支持向量机）
| VIDEO |
|---|
Support Vector Machine
Outline
这里写图片描述
Hinge Loss
Binary Classification
分为三步。
δ不可微分，所以变化一下。
这里写图片描述
step 2 ：Loss function
红色这条线就是Square Loss的表现，与黑色的理想loss曲线比较，当x很大是，将会取得很大的值，这是不合理的，既然如此，我们再试一下Square Loss+cross entropy。
这里写图片描述
蓝色这条线就是Sigmoid+Square loss，但是实际上，Square的performance并不好，用cross entropy更合理，就是绿色那条线，当横坐标趋近无穷大时，趋近于0，如果负无穷，则会无穷大。比较一下蓝绿两条线，如果我们横坐标，从-2移到-1，绿色这条线变化很大，蓝色反之，造成的效果就是，横坐标非常negative时，绿色调整参数可以取得较好的回报，所以它很乐意把negative的值变大，而蓝色反之，很懒惰。
这里写图片描述
而Hinge Loss为紫色线表示。
这里写图片描述
如果比较紫绿两条线，它们最大的不同就是对待做得好的example的态度，如果把横坐标从1挪到2，对绿色来说它会有动机把横坐标变得更大，而紫色对此的态度是及格就好，不会再努力变大。
Linear SVM
Compared with logistic regression, linear SVMhas different loss function
这里写图片描述
Linear SVM – gradient descent
SVM通常不用gradient descent做，但也是可以做的。
这里写图片描述
Linear SVM – another formulation
这里写图片描述
Kernel Method
Dual Representation
这里写图片描述
这里写图片描述
我们只需要能算出K（x，z）就可以了，这就是Kernel Trick。
Kernel Trick
这里写图片描述
这里写图片描述
这里写图片描述
Radial Basis Function Kernel
衡量x与z的相似度，在无穷多维上去做事情
这里写图片描述
Sigmoid Kernel
这里写图片描述
这里写图片描述
SVM related methods
* Support Vector Regression (SVR)
[Bishop chapter 7.1.4]
* Ranking SVM
[Alpaydin, Chapter 13.11]
* One-class SVM
[Alpaydin, Chapter 13.11]
SVM vs Deep Learning
这里写图片描述
