今日学习逻辑回归这一章的知识,要点总结如下:
1. 回归即直线对点的拟合,Sigmoid函数的值在0到1内,目标函数为Sigmoid函数的输入值,当输入为0时,函数值为0.5,这样可以以此作为分类,即求使目标函数为0的最佳参数,这时的线性组合为类别边界。
2.而在求最佳参数时用到了最优化理论,常用的就是梯度上升法,求函数的最大值;梯度下降法求函数的最小值。
3.由于梯度上升法有迭代次数较大,参数收敛慢,且有周期性震荡,无法局部收敛的问题,在此基础上发展了随机梯度上升法,一此仅用一个样本点更新回归参数,这样可以保证收敛速度较快;随后又在回归参数中引入常数项,这样可以避免参数严格下降,使得新加入的样本同样对训练结果有影响。
4.另外机器学习中经常面临着处理缺失值的情况,针对不同的学习目的,应该采取不同的方法处理缺失值。