机器学习面试整理-线性模型

1.基本形式

给定d个属性描述的样本 $x=(x_{1};x_{2};...;x_{d})$ ,线性模型学得一个通过属性线性组合来进行预测的函数

$f(x)=\mathbf{w}^t\mathbf{x}+b$

2.线性回归

数据集： $D={(\chi _{1},y1);(\chi _{2},y2);...;(\chi _{m},ym)}$ ,其中 $\chi _{i}=(x_{i1};x_{i2};x_{i3};...;x_{id}),y_{i}\in \mathbb{R}$

模型： $f(\boldsymbol{x})=\boldsymbol{w}^T\boldsymbol{x_{i}}+b$ ,使得 $f(\boldsymbol{x})\approx y_{i}$

损失函数：令 $\hat{w}=(w;b)$ 数据集后面扩充一列1，变成m*（d+1）大小的矩阵X

优化目标 $\boldsymbol{\hat{w} ^*}=\mathop{\arg\min}_{\hat{w}} (\boldsymbol{y-X\hat{w}})^T(\boldsymbol{y-X\hat{w}})$

求解：令 $E_{\hat{w}}=(\boldsymbol{y-X\hat{w}})^T(\boldsymbol{y-X\hat{w}})$

对 $\hat{w}$ 求导得到 $\frac{\partial{E_{\hat{w}}}}{\partial\hat{w}} =2X^T(X\hat{w}-y)$

详细推导见：南瓜书

数据集 $D={(\chi _{1},y1);(\chi _{2},y2);...;(\chi _{m},ym)}$ ，其中 $\chi _{i}=(x_{i1};x_{i2};x_{i3};...;x_{id}),y_{i}\in \mathbb{R}$

模型： $p(y=1|x)=\frac{e^{w^Tx+b}}{e^{w^Tx+b}+1}$

$p(y=0|x)=\frac{1}{e^{w^Tx+b}+1}$

求解：设：

$P(Y=1|x)=\pi (x)$ $P(Y=0|x)=1-\pi (x)$

似然函数为 $\prod_{i=1}^n [\pi(x_{i})]^{y_{i}}[1-\pi(x_i)]^{1-y_i}$

对数似然函数为 $L(w)=\sum_{i=1}^n [y_i \log\pi(x_i)+(1-y_i)\log(1-\pi(x_i))]$

对L(w)求极大值得到w的估计值

在机器学习中我们有损失函数的概念，其衡量的是模型预测错误的程度。如果取整个数据集上的平均对数似然损失，我们可以得到:

$J(w)=-\frac{1}{N}\log L(w)$

即在逻辑回归模型中，我们最大化似然函数和最小化损失函数实际上是等价的。

TODO

TODO

最后编辑于：2021.02.18 13:06:10

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。