40min开始听讲。
损失函数(loss function)，也称作为代价函数、目标函数(objective function)。它描述的是当前参数下，假设函数(hypothesis)和实际数据之间的差异。
为什么需要损失函数呢？指明了参数的优化方向。
image.png
如图所示，我们把问题转换成了求函数最小值的问题。
优化 = 损失函数 + 优化算法
学习率α（学习率取的过大，可能会错过最优点，学习率取的过小，可能会耗费过多的时间）。α是超参数，通过实验的方法选取，如0.001或者0.01等。
我们要去平衡loss function和模型的泛化能力。
为了避免过拟合问题，我们将经验风险最小化转换为结构风险最小化（正则化）。
image.png
最后一项具体指的是什么呢？（cita的幅度，LR正则项）
2017年kaggle机器学习算法统计
逻辑回归，回归问题怎么解决分类问题呢？分类问题可以通过概率来进行分类，而概率值可以通过回归来得到。具体如下图所示：
image.png
逻辑回归既可以看成是回归算法，也可以看作是分类算法。通常作为分类算法用，只可以解决二分类问题。
绘制sigmoid函数
image.png
logistic regression损失函数
image.png
