理解回归
regression to the mean 回归到平均值
回归问题主要关注确定唯一的因变量(需要预测的值)和一个或者多个数值型的自变量(预测变量)之间的关系
最小二乘法
误差:Ε(|yi^-yi|平方)(称作:目标函数,损失函数,cost function,loss)
概率密度函数:
公式推导:
基于中心极限定理,
用线性代数方式表达
Q:为什么求总似然的时候,要用正态分布的概率密度函数?
A:中心极限定理,如果假设样本之间是独立事件,误差变量随机产生,那么就服从正太分布
Q:总似然不是概率相乘吗?为什么用了概率密度函数的f(xi)进行相乘
A:因为概率不好求,所以可以找到概率密度相乘最大的时候,就相当于概率相乘最大的时候
线性回归
线性:y=a*x 一次方的变化
回归:回归到平均值
简单线性回归
算法==公式
一元一次方程组
y=ax + b
x1,y1 x2,y2...xn,yn
多元线性回归
本质上就是多元一次方程组
y=w0*x0+w1*x1 ....+wn*xn=WT*X (W转置点乘样本矩阵X)=X*W(X点乘W)W符号也可以有Θ替换
中心极限定理
总结: