LR知识点梳理

  1. LR适用场景
    LR适用于需要求解二分类概率的场景，例如CTR预估，金融风控等场景，CTR预估中，工业界常使用GBDT+LR进行在线的rank
  • 优点
    实现简单，分类时计算量小，速度快，存储资源低，不仅可以拿到类别，同时也能拿到分类概率
  • 缺点
    1.逻辑回归容易欠拟合，精度不太高 2.数据特征缺失或者特征空间特别大时表现效果并不好

LR是广义线性模型，其原理是找到决策边界，将空间划分为两部分。


决策边界.png

LR是分类模型，通过sigmod函数可以将线性函数的值域映射到[0,1]对应的概率

sigmod函数.png

  1. LR为什么又叫对数几率(odds)回归?


    几率.png

  2. LR的损失函数是什么，与极大似然估计之间的关系

  • 似然函数角度理解LR的损失函数


    似然值角度理解损失函数.png

  • 通过损失函数的角度理解
    由于LR会将样本分为0，1两类，当y_true=1时，我们希望y_hat=1的损失为0，y_hat=0的损失无穷大；反之一样


    image.png

  1. 通过梯度下降法求解LR的参数


    梯度下降.png

5.LR过拟合
当模型过拟合时，通常有以下几种方法进行处理

  • 增加样本数量
    由于样本数量少，“配不上”模型的复杂度，增加样本数量可以有效的处理过拟合

  • 正则化

    1. 什么是正则化

      • 正则化用来降低模型方差，提高模型的泛化能力，通常使用L1和L2正则化。对于线性回归来讲，加上L1正则化项即为Lasso Regression，加上L2正则化即为Ridge Regression。

      • L1正则化是在原有损失函数的基础上加上所有参数项的绝对值之和（L1 Norm）；其中L1正则化是模型加上所有w服从0均值的拉普拉斯分布的先验

      • L2正则化是加上所有参数的欧氏距离(L2Norm)，L2正则化是模型加上所有w服从0均值的高斯分布的先验。

    2. 正则化为什么可以降低模型复杂度


      正则化.png

以2个特征为例，图中椭圆部分是误差等高线，越靠近紫色的部分误差越小。当不加约束的时候，经过梯度下降等优化算法会找到最靠近中心的w的取值。
当加上L1或者L2正则化后，优化的损失不仅要靠近紫色部分，也要考虑L1的菱形区域或L2的圆形区域的面积尽可能的小

对于L1来说，最优参数在（0，x）上，这时其中一个参数就不起作用，这也就是为什么L1会得到稀疏解；对于L2来说，圆形区域会与等高线接近坐标轴的地方相切，这样会得到比较小的解

  1. 特征为什么需要归一化
    由于需要使用梯度下降对参数优化，凡是使用梯度下降的算法，特征归一化有利于提高收敛速度


    image.png

  2. 为什么不使用MSE作为LR的损失函数
    对于LR来说，MSE不是凸函数，容易优化到局部最优值而无法继续收敛


    image.png

  3. 为什么LR适合离散型特征
    我们在使用逻辑回归的时候很少会把数据直接丢给 LR 来训练，我们一般会对特征进行离散化处理，这样做的优势大致有以下几点：

  • 离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展
  • 离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰
  • LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合
  • 离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量编程 M*N 个变量，进一步引入非线形，提升了表达能力
  • 特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化

LR高配版 FM，FFM模型，这两个模型后续会写一篇单独的文章

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容