重点
1 功能
2 算法过程
功能
logistic regression适用于做二分类任务,并给出相应概率。
例如:
1 区分是否是垃圾邮件
2 银行判断是否给用户办理信用卡
算法过程
灵感过程
1 二分类标签(0/1)
2 可以使用简单的单位阶跃函数(红线)
3 但是阶跃函数不连续,因此使用logistic function (上图中黑线,因为呈现S形,因此也称为sigmoid function)代替,使其连续可导。
横坐标是z,纵坐标是y.定义域为(正无穷到负无穷)。值域为(0到1,可对应概率值0到1)
核心问题
求解:
损失函数推导及定义
1 当label(即y)=1时,
2 当label(即y)=0时,
抽象出来:
求最优决策边界
即求解最优的线
Z = XW,其中X维度(10,3),假设有10组数据,Z维度(10.1),W维度(3,1)
H维度(10,1).
**h对z求导**
h对z求导之后维度(10,1)
损失函数 cost fuction
cost维度为(10,1)
其中:
使用梯度下降法 求最优W
1 初始化W
2 更新
3 迭代到一定次数或到一定阈值