线性回归基本概念回顾

数据集

线性回归试图习得

，使得（表示近似等于）

其中，为待确定的参数，也就是我们要确定的一个维向量

误差函数

最小二乘法原理详解

最小二乘法旨在求得线性回归方程的解析解，或者说精确解，因此我们不需要迭代即可求解

还是看到我们的代价函数，如果是个标量（或者说，是一个只有一维的向量），就是一个二次函数（我们在高中学的一元线性回归便是如此），通过求导的方式（其实就是直接代对称轴）即可求出最小值，

实际上，我们的是一个向量，通过求导的方式，我们可以求出来极值点

怎么求呢？读者自证不难

我们的误差函数为

对它求导，我们有

令其为0，其实就是解矩阵方程，只不过这里的“未知数”是而不是。是我们的训练集，是已知的，求解过程如下

左乘进去，即

移项

解得

我们不难发现，计算时，我们需要计算

万一它不可逆呢？

我们知道，，不可逆等价于不可逆，意味着我们的数据集矩阵非满秩，有一部分是线性相关的，怎么办？

我们可以删除一些线性相关的量，使数据集为满秩矩阵，也可以使用广义逆矩阵，能达到相同的效果，更常用的方法是正则化

广义逆矩阵对于奇异矩阵甚至长方矩阵都存在、具有通常逆矩阵的一些性质、当矩阵非奇异时，它还原到通常的逆矩阵，满足其3条性质的矩阵叫做广义逆矩阵。

1. 
2. 
3. 和均为对称阵

我们称为的Moore-Penrose广义逆矩阵（有时候也叫伪逆阵），记为

最小二乘法优缺点

优点：

简单，直接，暴力，不需要反复迭代，即可求出精确解

缺点：

计算这一项时，由于软件计算矩阵的逆，复杂度通常接近,因此，在数据规模较大（一般是）时，时间往往是难以接受的，不适宜使用最小二乘法

参考Python代码

import numpy as np
import matplotlib.pyplot as plt


class nomalEquation(object):
    def __init__(self, X, y):
        """
        初始化类
        """
        self.y = y
        self.shape = X.shape  # shape函数返回一个储存维数的矩阵
        self.m = self.shape[0]
        self.nPlus = self.shape[1] + 1  # shape[0],shape[1]表示行数和列数，我们增广了一列1，所以要加1
        self.ones = np.ones((self.m, 1))
        self.X = np.concatenate((X, self.ones), axis=1)  # 使用concatenate将数据集与1进行增广
        self.theta = self.calTheta()

    def calTheta(self):
        """
        利用最小二乘公式计算theta值
        """
        inv = np.linalg.pinv(np.matmul(self.X.T, self.X))
        self.theta = np.matmul(np.matmul(inv, self.X.T), self.y)
        return self.theta


def createData():
    """
    对一个线性函数进行扰动产生散点图进行拟合
    """
    X =5 * np.random.rand(1000, 1)
    theta = np.array([[5]])
    y = np.matmul(X, theta) + 2
    salt = np.random.randn(1000, 1) #salt表示扰动，randn能让产生的随机数呈正态分布
    y = y.reshape((-1, 1)) + salt #reshape用于特征缩放
    return X, y


def main():
    X, y = createData()
    print(X, y)
    plt.scatter(X, y)
    nol = nomalEquation(X, y)
    thetaFinal = nol.theta
    yPre = np.matmul(nol.X, thetaFinal)
    plt.plot(X, yPre, color='r')
    plt.show()
    plt.close()
if __name__ == '__main__':
    main()