ml-高级优化

目标： 利用高级优化方法和优化概念，使梯度下降进行逻辑回归的速度大大提高，使得算法更加适合解决特征量数目庞大的大型机器学习问题。

• 共轭梯度法
• BFGS（变尺度法）
• L-BFGS（限制变尺度法）

特点：

1. 不需要手动选择学习率，通过线性搜索(line search)算法自动尝试不同的学习速率，自动选择好的学习速率。
2. 比梯度下降法复杂得多。
3. 但是有现成的库函数调用

Python fminunc的替代方法
https://blog.csdn.net/csdn_inside/article/details/81558079