〇、数学表示
- n: 特征量的维度
-
下图表示第i个样本的特征向量的第j个特征分量
- h(x)=θ0x0+θ1x1+θ2x2+θ3x3+...+θnxn=Θ.T X
x0=1
一、多元梯度下降的实用技巧
- feature scaling
缩放
特征分量的大小要适当，不然可能会让条件数特别大，难以收敛
最好将每个分量都控制在[-1,1] - mean normalization
“均值归一化”
xj←（xj-μj）/sj
μj : 均值
sj ：max-min,区间长度 - 根据代价函数的变化调增参数
- 随着迭代次数增加，代价函数变化小于阈值，可以停止迭代了
- 代价函数随着迭代次数增加不收敛，learning rate 太大了，要调小
-
代价函数随着迭代次数增加下降不够快，learning rate可能要调大
learning rate合适，过小，过大
