1. LR为什么可以用来做CTR预估?
Ans:若把点击的样本作为正例,未点击的样本作为负例,则样本的CTR就是样本为正例的概率,LR可以输出样本为正例的概率,故可以解决此类问题。此外,LR相对于其他模型,求解简单,可解释强,方便并行
2. LR相对于线性回归有什么优势?
Ans:LR本质上还是线性回归,但多了最后一层sigmoid函数的非线性映射。正是这这种映射,解决了线性回归在整个实数域内敏感度一致的缺点。在分类任务中,需要控制在[0,1]之间。逻辑回归曲线在z=0处很敏感,在z>>0和z<<0处,都不敏感。
[图片上传失败...(image-fdd182-1534156353373)]
3. LR与最大熵模型MaxEnt有什么关系?
Ans:本质上没有区别。LR是最大熵对应类别为二类时的特殊情况,也就意味着,当逻辑回归类别扩展到多分类时,就是最大熵模型。
4. LR和SVM的区别和联系?
Ans:①LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(改进后,可处理多分类)
②都可以增加不同的正则化项,如L1、L2,在很多实验中,算法结果很相近。(区别:LR是参数模型,SVM是非参数模型)
③从目标函数上看,LR采用logisticcal loss;SVM采用Hinge Loss。两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重
④SVM仅考虑support vectors,去学习分类器。LR是通过非线性映射,大大减少了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重
⑤LR的模型更加单,好理解,可解释性抢,适合并行。SVM的理解和优化比较复杂,但是可以支持核函数,进行高维映射。
⑥LR能做的,SVM也能做,但可能在准确率上有问题;SVM能做的,LR有的做不了
5. 概括一下LR的思想
Ans: 逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,达到将数据二分类的目的。