逻辑回归Loss function推导

逻辑回归

\hat{y} = \sigma(z)

\sigma(z) = \frac{1}{{1+e^{-z}}}

z = w^Tx+b

\hat{y} = p(y=1|x)

神经网络表示

预测概率

if y = 1:    p(y|x)=\hat{y}

if y = 0:    p(y|x)=1-\hat{y}

=>
p(y|x) = \hat{y}^{y}.(1-\hat{y})^{(1-y)}

log(p(y|x))=log(\hat{y}^{y}.(1-\hat{y})^{(1-y)}) =y.log\hat{y}+(1-y).log(1-\hat{y})

L(y, \hat{y}) = - log(p(y|x))

最大似然

P=\prod_{i=1}^N p(y^{(i)}|x^{(i)})

LP = \sum_{k=1}^N log(p(y^{(i)}|x^{(i)}))

LP = -\sum_{k=1}^N L(y^{(i)},\hat{y}^{(i)})

求导

\frac{dL} {d\hat{y}} = -\frac{y} {\hat{y}} +\frac{(1-y)}{(1-\hat{y})}

\frac{d\hat{y}} {dz} = \hat{y} . (1-\hat{y})

\frac{dL} {dz} = \frac{dL} {d\hat{y}} . \frac{d\hat{y}} {dz} =-y(1-\hat{y}) + (1-y)\hat{y} = -y + \hat{y}

\frac{d\hat{z}} {dw} = x

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容