1.导数的求导法则
常见性质：
1.f(x) =Ax
2.f(x)=xTAx
3.f(x)=aTx
4.f(x)=xTAy
2.线性回归
线性回归的表达式：
线性回归损失函数的代数表达式为：
线性回归的损失函数的矩阵表达式为：
对损失函数进行求导：
如果采用梯度下降法，则θ的迭代公式是这样的：
如果采用最小二乘法，则θ的结果公式如下：
3.LR
3.1二元逻辑回归的模型
对线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归。这个函数g在逻辑回归中我们一般取为sigmoid函数，形式如下：
它有一个非常好的性质，即当z趋于正无穷时，g(z)趋于1，而当z趋于负无穷时，g(z)趋于0，这非常适合于我们的分类概率模型。另外，它还有一个很好的导数性质：
如果我们令g(z)中的z为：z=xθ，这样就得到了二元逻辑回归模型的一般形式：
其中x为样本输入，hθ(x)为模型输出，可以理解为某一分类的概率大小。而θ为分类模型的要求出的模型参数。对于模型输出hθ(x)，我们让它和我们的二元样本输出y（假设为0和1）有这样的对应关系，如果hθ(x)>0.5 ，即xθ>0, 则y为1。如果hθ(x)<0.5，即xθ<0, 则y为0。y=0.5是临界情况，此时xθ=0为， 从逻辑回归模型本身无法确定分类。
hθ(x)的值越小，而分类为0的的概率越高，反之，值越大的话分类为1的的概率越高。如果靠近临界点，则分类准确率会下降。
模型的矩阵形式：
其中hθ(X)为模型输出，为 mx1的维度。X为样本特征矩阵，为mxn的维度。θ为分类的模型系数，为nx1的向量。
3.2二元逻辑回归的损失函数
回顾下线性回归的损失函数，由于线性回归是连续的，所以可以使用模型误差的的平方和来定义损失函数。但是逻辑回归不是连续的，自然线性回归损失函数定义的经验就用不上了。不过我们可以用最大似然法来推导出我们的损失函数。
我们知道，按照第二节二元逻辑回归的定义，假设我们的样本输出是0或者1两类。那么我们有：
把这两个式子写成一个式子，就是：
其中y的取值只能是0或者1。
得到了y的概率分布函数表达式，我们就可以用似然函数最大化来求解我们需要的模型系数θ。
为了方便求解，这里我们用对数似然函数最大化，对数似然函数取反即为我们的损失函数J(θ)。其中：
似然函数的代数表达式为：
其中m为样本的个数。
对似然函数对数化取反的表达式，即损失函数表达式为：
损失函数用矩阵法表达更加简洁：
其中E为全1向量,∙为内积。
3.3二元逻辑回归的损失函数的优化方法
对于二元逻辑回归的损失函数极小化，有比较多的方法，最常见的有梯度下降法，坐标轴下降法，等牛顿法等。这里推导出梯度下降法中θ每次迭代的公式。由于代数法推导比较的繁琐，我习惯于用矩阵法来做损失函数的优化过程，这里给出矩阵法推导二元逻辑回归梯度的过程。
对上述损失函数进行求导可得：
这一步我们用到了向量求导的链式法则，和下面三个基础求导公式的矩阵形式：
对于刚才的求导公式我们进行化简可得：
从而在梯度下降法中每一步向量θ的迭代公式如下：
其中，α为梯度下降法的步长。
3.4二元逻辑回归的正则化
逻辑回归也会面临过拟合问题，所以我们也要考虑正则化。常见的有L1正则化和L2正则化。
逻辑回归的L1正则化的损失函数表达式如下，相比普通的逻辑回归损失函数，增加了L1的范数做作为惩罚，超参数α作为惩罚系数，调节惩罚项的大小。
二元逻辑回归的L1正则化损失函数表达式如下：
其中||θ||1为θ的L1范数。
逻辑回归的L1正则化损失函数的优化方法常用的有坐标轴下降法和最小角回归法。
二元逻辑回归的L2正则化损失函数表达式如下：
其中||θ||2为θ的L2范数。
逻辑回归的L2正则化损失函数的优化方法和普通的逻辑回归类似。
3.6二元逻辑回归的推广：多元逻辑回归
前面几节我们的逻辑回归的模型和损失函数都局限于二元逻辑回归，实际上二元逻辑回归的模型和损失函数很容易推广到多元逻辑回归。比如总是认为某种类型为正值，其余为0值，这种方法为最常用的one-vs-rest，简称OvR.
另一种多元逻辑回归的方法是Many-vs-Many(MvM)，它会选择一部分类别的样本和另一部分类别的样本来做逻辑回归二分类。最常用的是One-Vs-One（OvO）。OvO是MvM的特例。每次我们选择两类样本来做二元逻辑回归。
这里只介绍多元逻辑回归的softmax回归的一种特例推导：
首先回顾下二元逻辑回归。
其中y只能取到0和1。则有：
如果我们要推广到多元逻辑回归，则模型要稍微做下扩展。
我们假设是K元分类模型,即样本输出y的取值为1，2，。。。，K。
根据二元逻辑回归的经验，我们有：
上面有K-1个方程。
加上概率之和为1的方程如下：
从而得到K个方程，里面有K个逻辑回归的概率分布。
解出这个K元一次方程组，得到K元逻辑回归的概率分布如下：
多元逻辑回归的损失函数推导以及优化方法和二元逻辑回归类似，这里就不累述。
