逻辑回归算法-极大似然函数推导

全部数据点数学表达为：

\vec{x}，\vec{y}=(x_{1},y_{1} )(x_{2},y_{2} )\circ \circ (x_{n} ,y_{n} )

（1）最大概率，采用二项式分布，概率连乘，极大似然函数

    公式（1）P(\vec{y}|\vec{x} ,\vec{w} ,b)=\prod\nolimits_{i=1}^n P(y_{i}|x_{i}，\vec{w},b )

（2）用指数形式表达极大似然函数

        当 yi=1，P(1|x_{i},w,b )

        当yi=0，1-P(1|x_{i} ,w,b）

        极大似然函数指数形式转换为：

        补充知识点：指数函数特性，f(x)=y^x ,当也就是x=0，f(x)=1,x=1，f(x)=y

    公式（1）转换为如下形式：

    公式（2）P(\vec{y}|\vec{x} ,\vec{w} ,b)=\prod\nolimits_{i=1}^n (1-P(x_{i} ))^(1-y_{i}）\bullet P(x_{i} )^(y_{i}）

（3）求解极大自然函数，公式(2)是个概率的连乘，使用数学中转化思想，把连乘计算转换为连加，加法永远比乘法简单。

        补充知识点：

         使用对数函数单调特性，要么是自增，要么是自减，同时通过对数函数四则运算法则，连乘转换为加法法则解决公式（2）的问题；

注意：幂函数的指数，在对数运算中变化，由幂函数转为连乘，指数与对数的连乘

\ln （x_{1} ^ay_{2} ^b ）=\ln x1^a +\ln x2^b=aln(x_{1})+b\ln (x_{2} ) ,

   公式（3） lnP(\vec{y} |\vec{x},w,b )=\sum_{i=1}^m((1-yi)ln(1-P(xi))) +yiln(P(xi))

公式（3）继续化简，使用四则运算法则，把左边式子部分展开

\sum_{i=1}^m\ln(1-P(x_{i})-y_{i} \sum_{i=1}\ln (1-P(x_{i} ))+y_{i} \sum_{i=1}\ln (P(x_{i} ))

把右边2个式子进一步简化，提取出y_{i} ，使用对数减法转换为对数除法，合并为一式

公式（4）\sum_{i=1}^m\ln(1-P(x_{i})+\sum_{i=1}^my_{i} \ln (\frac{P(x_{i} )}{(1-P(x_{i} ))} )

而\ln \frac{P}{1-P} =wx+b，右边式子进一步简化为，(4-右)wx_{i} +b

P=\frac{1}{1+e^-(wx+b) } ，左边式子转换为（4-左）\ln (1-\frac{1}{1+e^-(wx_{i} +b) } )

\ln (1-\frac{1}{1+e^-(wx_{i} +b) } )=\ln(\frac{1+e^-(wx_{i} +b)}{1+e^-(wx_{i} +b)} -\frac{1}{1+e^-(wx_{i} +b) } )

\ln (1-\frac{1}{1+e^-(wx_{i} +b) } )=\ln(\frac{e^-(wx_{i} +b)}{1+e^-(wx_{i} +b)} )=\ln (\frac{1}{e^(wx_{i} +b)+1} )

上下同除e^-(wx_{i} +b) 公式\frac{1}{e^-(wx_{i} +b)}=e^(wx_{i} +b)

公式（4）最后简化为：

铺垫 \ln \frac{1}{a}=-\ln a

\sum_{i=1}^m\ln (\frac{1}{e^(wx_{i} +b)+1} )+\sum_{i=1}^my_{i} (wx_{i} +b)

-\sum_{i=1}^m\ln (1+e^(wx_{i} +b))+\sum_{i=1}^my_{i} (wx_{i} +b)

下一章内容就是最极大似然函数求导

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

友情链接更多精彩内容