原理:
f(X)在任意一点X0处泰勒展开
公式:
X(k+1)=Xk-α f'(Xk)
X1=X0-α f'(X0)
几何意义:
令X0朝向梯度的负方向走α步,得到新的X1.
不断的循环上一步,就会走到极小值点。
三种梯度下降算法的Python实现:
小批量梯度下降(Mini Batch Gradient Descent)
实例之二分类
If you are interested in this topic.
You can get in touch with me.
18234056952(Tel wechat qq)