从伯努利分布、极大似然估计到逻辑回归

伯努利分布

随机变量X的概率质量函数：

重复n次伯努利实验，成功次数是x，失败次数是n-x的概率为：
当n=1时，即是伯努利分布。所以伯努利分布的概率质量函数也表示为：
x代表事件发生，1-x代表事件不发生，p是事件发生的概率，1-p是事件不发生的概率。

极大似然估计

设定极大似然函数，极大似然函数取最大值时的参数估计最有可能是真实参数。离散情况下，假设每个实验独立同分布，则各事件单独发生的概率乘积即为似然函数。

逻辑回归

那么如何求解参数w和b—对数似然函数取最大值时的参数最有可能是真实参数，且对数似然函数最大，等价于交叉熵最小。具体看手推图：

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。