一、线性回归与卷积神经网络

1、线性回归

1.1 模型

给定一个数据集合x和对应的目标值y，线性模型的目标是找一根线，其由向量w和位移b组成，来最好地近似每个样本x[i]和y[i]。

$\hat{y}=Xw+b$

这里的y_hat对应为线性回归模型的预测值，X为样本集。目标值y则为实际样本的标签（即模型所要回归的输出）。线性回归的目的，就是以尽可能多的样本数，得到模型的最优权重w（weight）和偏差b（bias），使得预测值y_hat尽可能地靠近目标值y。

将每个目标值y对应的y_hat计算方差，用以描述模型的贴合程度：

$\sum_{i=1}^n(\hat y_{i} - y_{i})^2$

1.2 训练数据

训练数据中的房屋面积、房龄和对应的房屋价格，它的线性回归模型用矩阵的形式如下：

$\hat{y}^{(i)} =[x_{1}^{(i)},x_{2}^{(i)}]\otimes [w_{1},w_{2}]+b$

权重矩阵w与房屋的数据进行卷积，加上一个偏差量后得到预测输出。

1.3 损失函数

损失函数的目的是去判断权重w和偏移量b的所决定的预测值y_hat（当前）与目标值y的偏差大小，从而找出一组最优的权重w*和b*

1.4 优化算法

优化算法的目的是通过迭代模型参数，以尽可能地降低损失函数。在优化算法上的优化方向通过求导得到梯度进行判断。

1.5 总结

以上的整体流程：首先有一堆样本，里面具有若干因素来描述样本的形状（特征）和目标值（标签），我们希望建立一个包含权重和偏差的线性模型进行对未知样本进行预测。这时就需要对每个样本进行拟合，找到一个最优的权重和偏差参数。我们先在样本中选择部分样本（batch）输入模型进行拟合得到w和b，通过损失函数判断此时的拟合程度。拟合程度越高，损失函数的值越小（这里的损失函数是恒正的），因此需要不断改变w和b的值来实现损失函数最低。调整w和b值需要有一个方向来减少随机性，因此通过优化算法来不断的迭代w和b，使得损失减小。这里有一个设定的常数值（正数）来控制迭代参数的减小量，即为学习速率。

2、卷积神经网络

2.1 输入与输出

输入是图像，输出是全连接成拉成的一个n类样本的预测值。

深度学习基础