之前采用的穷举法来求解最优的w值，但是当数据量大维度多的时候，会导致训练性能急剧下降
而梯度下降算法的原理：迭代找到目标函数的最小值，或者收敛到最小值
梯度的概念：
1.在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
2.在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向
3.α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离
随机梯度下降算法：
之前的梯度下降可能会产生鞍点问题，当训练遇到梯度为0的情况时w=w-a*gradient(x_data，y_date)，w无法继续向前迭代，有可能会错过最优值，故可以采取随机梯度下降算法，将每一个样本的梯度代入进行迭代，尽可能的将w送到最优处。
本次使用的模型为简单线性回归模型：y = w*x
1.定义线性回归模型
#定义模型
def forward(x):
return w*x
#初始随机猜测一个权值w=1.0
w=-1.0
2.计算损失函数
#定义单次成本计算函数
def loss(x,y):
y_pred = forward(x)
return (y-y_pred) ** 2
3.数据集
#定义 DataSet-实际w==2
x_date = [1.0,2.0,3.0]
y_date = [2.0,4.0,6.0]
4.定义梯度计算公式
#定义随机梯度计算公式
def gradient(x, y):
return 2*x*(x*w-y)
5.使用梯度下降算法进行训练
#通过梯度下降算法来训练模型---设定为1-100次:左闭右开区间
#拿所有样本对反复训练100次，每一次都需要训练所有的样本对---梯度为样本点的梯度
for epoch in range(1, 100):
print("epoch=", epoch)
for x, y in zip(x_date, y_date):
loss_val = loss(x, y)
# 每一次训练用的梯度都是一对样本对的梯度，也就是某点的梯度
w = w-0.01*gradient(x, y) #学习率定义为0.01
print("\tx=", x, "y=", y, "grad=", gradient(x, y),"w=", w)
#打印输出是第几次训练，训练权值和训练的损失函数
w_list.append(w)
mse_list.append(loss_val)
print("\tw=", w, "loss=", loss_val)
6.完整代码及训练结果
# -*- codeing = utf-8 -*-
'''
梯度下降算法存在的问题：
1.陷入局部最优
2.解决鞍点问题
'''
#采用随机梯度下降算法---计算每一点样本对的梯度来进行w权值的更新
#优点: 时间复杂度高，但是结果比较准确
#存在的缺点: 由于本次的训练w值来源于上一个样本的梯度训练，故由于前后关系，无法进行并行计算的方式进行梯度下降训练
'''
当计算平均梯度遇到鞍点(梯度为0点,即gradient == 0)时，w=w-a*gradient无法前进，此时某一随机样本的梯度可能不是鞍点，可能继续将w向前
'''
import matplotlib.pyplot as plt
#训练数据集---实际w权值=2.0
x_date = [1.0,2.0,3.0]
y_date = [2.0,4.0,6.0]
#初始随机猜测一个权值w=1.0
w=-1.0
#定义线性回归模型
def forward(x):
return x*w
#定义单次成本计算函数
def loss(x,y):
y_pred = forward(x)
return (y-y_pred) ** 2
w_list = []
mse_list = []
#定义随机梯度计算公式
def gradient(x, y):
return 2*x*(x*w-y)
print("predict before training:", "w=", w, forward(4))
#通过梯度下降算法来训练模型---设定为1-100次:左闭右开区间
#拿所有样本对反复训练100次，每一次都需要训练所有的样本对---梯度为样本点的梯度
for epoch in range(1, 100):
print("epoch=", epoch)
for x, y in zip(x_date, y_date):
loss_val = loss(x, y)
# 每一次训练用的梯度都是一对样本对的梯度，也就是某点的梯度
w = w-0.01*gradient(x, y) #学习率定义为0.01
print("\tx=", x, "y=", y, "grad=", gradient(x, y),"w=", w)
#打印输出是第几次训练，训练权值和训练的损失函数
w_list.append(w)
mse_list.append(loss_val)
print("\tw=", w, "loss=", loss_val)
print("predict completed:", "w=", w, forward(4))
plt.plot(w_list, mse_list)
plt.ylabel("mean Square error")
plt.xlabel("w")
plt.show()
结果如下：
image.png
