之前采用的穷举法来求解最优的w值，但是当数据量大维度多的时候，会导致训练性能急剧下降
而梯度下降算法的原理：迭代找到目标函数的最小值，或者收敛到最小值
梯度的概念：
1.在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
2.在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向，所以循着梯度的反方向就能找到函数的最小值
3.α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离
本次使用的模型为简单线性回归模型：y = w*x
1.定义线性回归模型
#定义模型
def forward(x):
return w*x
#初始随机猜测一个权值w=1.0
w=-1.0
2.计算损失函数
#定义总成本计算函数---平均平方误差
def cost(xs,ys):
cost = 0
for x,y in zip(xs,ys):
y_pred = forward(x)
cost += (y_pred-y) ** 2
return cost/len(xs)
3.数据集
#定义 DataSet-实际 w==2
x_date = [1.0,2.0,3.0]
y_date = [2.0,4.0,6.0]
4.定义梯度计算公式
#定义平均梯度计算公式
def gradient(xs,ys):
grad = 0
for x, y in zip(xs,ys):
grad += 2*x*(x*w-y)
return grad / len(xs)
5.使用梯度下降算法进行训练
for epoch in range(1,1000):
cost_val = cost(x_date,y_date)
#每一次训练用的梯度都是该数据集的平均梯度，当数据集给定时，平均梯度也就随之确定
w = w - 0.01 * gradient(x_date, y_date) #学习率定义为0.01
#打印输出是第几次训练，训练权值和训练的损失函数
w_list.append(w)
mse_list.append(cost_val)
print("epoch=", epoch, "w=", w, "loss=", cost_val)
6.完整代码及训练结果
# -*- codeing = utf-8 -*-
import matplotlib.pyplot as plt
#采用梯度下降算法来优化穷举法---计算所有样本对的梯度来取平均梯度进行w权值的更新
#优点: 每一次的训练和上一次的训练没有关系，都是用数据集的平均梯度进行计算
# 所以可以采取并行计算的方式进行训练，大大节俭时间成本
#缺点: 时间复杂度低，但结果没有随机梯度训练准确
#训练数据集---实际w权值=2.0
x_date = [1.0,2.0,3.0]
y_date = [2.0,4.0,6.0]
#初始随机猜测一个权值w=1.0
w=-1.0
#定义线性回归模型
def forward(x):
return x*w
#定义总成本计算函数---平均平方误差
def cost(xs,ys):
cost = 0
for x,y in zip(xs,ys):
y_pred = forward(x)
cost += (y_pred-y) ** 2
return cost/len(xs)
w_list = []
mse_list = []
#定义平均梯度计算公式
def gradient(xs,ys):
grad = 0
for x, y in zip(xs,ys):
grad += 2*x*(x*w-y)
return grad / len(xs)
print("predict before training:", "w=", w, forward(4))
#通过梯度下降算法来训练模型---设定为1-100次:左闭右开区间
#每一次训练更新的是 w 的值-而采用的平均梯度没有发生改变
#进行100次训练-每一次采用的梯度都是所有样本对的平均梯度
for epoch in range(1,1000):
cost_val = cost(x_date,y_date)
#每一次训练用的梯度都是该数据集的平均梯度，当数据集给定时，平均梯度也就随之确定
w = w - 0.01 * gradient(x_date, y_date) #学习率定义为0.01
#打印输出是第几次训练，训练权值和训练的损失函数
w_list.append(w)
mse_list.append(cost_val)
print("epoch=", epoch, "w=", w, "loss=", cost_val)
print("predict completed:", "w=", w, forward(4))
plt.plot(w_list,mse_list)
plt.ylabel("mean Square error")
plt.xlabel("w")
plt.show()
结果如下：
image.png
