目录
本来打算直接分享逻辑回归的知识了，但是在整理笔记的过程中发现，逻辑回归里面用到的知识点不少，所以先整理下用到的相关数学知识，本章首先分享梯度下降法；
我们知道，数据挖掘的核心方法论是，定义出目标函数，定义出损失函数（代价函数），然后运用各种数学方法进行代价函数最小化，本章将要结束的梯度下降法就是一种方法（术语无约束最优化方法）
梯度下降法（gradient descent）或最速下降法（steepest descent），通常用来求解无约束最优化问题。（注：最优化问题可以分为约束最优化与无约束最优化，这个后续要是大家有兴趣，我可以做下分享。）
特点：
实现简单；
迭代算法，每一步需要求解目标函数的梯度向量。
定义： 假设f（x）是
R^NRN
上具有一阶连续偏导数的函数，要求解的无约束最优化问题是：
x^*x∗
表示目标函数f(x)的极小点。
梯度下降法是一种迭代算法，选取适当的初始值x0，进行迭代，更新x0的值，进行目标函数的极小化，直至收敛。由于负梯度方向是使函数值下降最快的方向，所以在迭代的每一步，用负梯度方向进行更新x的值，从而达到减少函数值的目的。
梯度下降算法描述如下：
