有人问SVM可以退化成Logistic么，我觉得说退化不如说可以转换成Logistic形式么，或者说，也可以出输出一个概率值来估计其分类更倾向哪一类别。

基础知识：

1.1 sigmoid函数

sigmoid函数是一个良好的阈值函数，连续，光滑，严格单调。

可以将实轴上的数值投射到[0,1]上，即将一个输出实值抓化为一个概率值。比如一个分类器的分界线为0，大于0标为+1，小于0标为-1；如果使用上图的sigmoid函数套一下输出值。我们就可以说，输出为0时标为+1的概率为0.5；输出为2时标为+1的概率为0.8等。

这里定义SVM的输出（非阈值化的）：

SVM非阈值化的输出

其中

对偶形式后的一问分

用后验概率 P(y=1|f) 替代类别条件密度 p(f|y)，采用Sigmoid的参数化形式表达。

模型有两个参数A和B，采用最大似然估计训练，定义新的训练集合，其中ti为目标概率：

新的训练集合

重新定义标签，即SVM二分类为（-1，+1），转换为（0，+1）

最小化训练数据的Negative Log Likelihood，目标函数为cross-entropy error function：

对似然函数取对数，并加负号取最小值，即对数损失函数

其中

http://blog.csdn.net/iichangle/article/details/46817999   （赞）

http://blog.csdn.net/giskun/article/details/49329095   （赞）