2.9-2.10 logistic回归中的梯度下降法：
课件： [神经网络基础 2.9 logistic回归中的梯度下降法](链接: https://pan.baidu.com/s/1T9hzUQLfYzPwDvXObqxkTQ 提取码: xe68 )
首先，回顾一下logistic回归的公式：
LR.jpg
在logistic回归中，我们需要做的是变换参数w和b的值，来使得损失函数最小。首先我们需要计算偏导数，上图是一个简洁版的流程图。 根据“链式法则”，我们可以知道 (其中， 且 )
同理，我们可以得到，。之后，我们就可以根据梯度下降法来更新,,: 其中，是学习率。
对于m个样本，迭代流程为：
初始化：;
;
;
for 到 m：
....
;
;
2.11-2.14 向量化logistic回归及其中的梯度下降：
课件： [神经网络基础 2.11-2.14 向量化logistic回归及其中的梯度下降](链接: https://pan.baidu.com/s/1kPJhpndI8sJTve8mtuRXcg 提取码: c4nz )
- 对于式子
, 在python或者numpy中，命令为
z=np.dot(w,x)+b - 经验法则是：Whenever possible，avoid explicit for-loops.
- 还有其他的一些例子:
u=np.exp(v),np.log(v),np.abs(v),np.maximum,1/v,.....
对于m个样本，迭代流程为：
初始化：;
;
;
np.dot(w.T,X)+b
