第三章，线性模型笔记

3.1 基本形式

一般形式： $f(x) = w_1x_1+w_2x_2+...+w_dx_d+b$
向量形式： $f(x) = \vec w^T\vec x+b$
目的：求解 $\vec w,b$ 确定模型

注意点：

nonlinear model 可通过 linear model 引入层次结构 和 高维映射

具有很高的可解释性（comprehensibility）

3.2 线性回归(linear regression)

注意点：
有序属性可转化为连续值
无序属性可转化为k维向量
！！无序属性转为连续值会导致错误

均方误差（square loss）: $\tag{1} (w^*,b^*)=argmin_{(w,b)}\sum_{i=1}^m(f(x_i)-y_i)^2=argmin_{(w,b)}\sum_{i=1}^m(y_i-wx_i-b)^2$

优点：非常好的几何意义，Euclidean distance =》 least square method
注意点： $w^*$ 和 $b^*$ 是解

多元线性回归(multivariate linear regression):
$\hat w = (\vec w; b)$
$\hat w^* = argmin_\hat w(y-X\hat w)^T(y-X\hat w)$
对 $w^*$ 求导若 $X^TX$ 为满秩矩阵（full-rank matrix）或正定矩阵（positive definite matrix）
则 $w^*=(X^TX)^{-1}X^Ty$

实际情况中满秩矩阵意味着样例数大于变量数
若实际情况中样例数小于变量数，则需要引入正则化项

线性回归的变化：对数线性回归 $lny=\vec w^Tx + b$
对于单调可微函数 $y=g^{-1}(\vec w^Tx + b)$
广义线性模型generalized linear model 其中 $g(·)$ 联系函数（link function）

3.3 对数几率回归(logistic regression)

二分类任务单位阶跃函数（unit-step function) Heaviside函数
问题：不连续 =》替代函数 surrogate function =》对数几率函数 logistic function
$\tag{2} y=\frac{1}{1-e^{-(\vec w^Tx+b)}}$ ==> $\tag{3}ln\frac{y}{1-y}=\vec w^Tx+b$
merit：无需先假设数据分布，近似概率预测，任意阶可导凸函数

3.4 线性判别分析（Linear discriminant analysis) Fisher判别分析

投影法：相似点协方差尽可能小，类中心距离大
令 $μ_i,Σ_i$ 为均值向量和协方差矩阵，两类数据的中心投影在直线上的取值为 $w^T\mu_1,w^T\mu_2$ ，如果将所有点都投影到直线上，则两类数据的协方差分别为 $w^T\Sigma_0w$ 和 $w^T\Sigma_1w$ ，由于直线是一维空间，所以以上都为实数

同类相近，则 $w^T\Sigma_0w+w^T\Sigma_1w$ 最小
异类远离，则 $||w^T\mu_0-w^T\mu_1||^2_2$ 最大
则最大化目标： $J=\frac{||w^T\mu_0-w^T\mu_1||^2_2}{w^T\Sigma_0w+w^T\Sigma_1w}$ 最大
类内散度矩阵（within-class scatter matrix)
$\tag{4} S_w=\Sigma_0+\Sigma_1=\sum_{x \in X_0}(x-\mu_0)(x-\mu_0)^T+\sum_{x \in X_1}(x-\mu_1)(x-\mu_1)^T$
类间散度矩阵（between-class scatter matrix)
$\tag{5} S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$
则
$J=\frac {w^TS_bw}{w^TS_ww}$ 即广义瑞利商（generalized Rayleigh quotient)