在机器学习中,线性回归与逻辑回归的形式简单,却蕴含着一些重要思想;逻辑回归模型也是线性回归模型的非线性高级映射,具有便于求导等较好的数学特性,也可作为神经网络的激活函数来使用,如图1。
假设通过d纬的数据集可以训练出相应的线性回归模型进行相应的预测等功能,但如果想通过此数据集进行二分类,理想的函数为单位阶跃函数如图2所示
,此类分段函数拥有不易微分等较差的处理性,故可构造成如图3所示的sigmoid函数
,此类函数便于数学处理,且连续可微的特点,在靠近0的位置变陡峭,两个正无穷大和负无穷大分别取1跟0的值,这也符合靠近回归曲线的输入概率偏向0.5,正远离回归曲线的输入偏向于1,相反偏向于0的实际特点(二分类的输入点到回归曲线的几何距离为L=W×X+b),如图4所示
。二分类可以据此推广到多分类的概率预测,前提为各个分类事件之间相互独立,方法为将感兴趣的类别设置为1类,其余所有类之和设置为0类既可~
以上就是个人对于逻辑回归的理解,希望大家多多批评指正!