Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine

自己说

这个是在facebook中的gbdt+lr这篇文章中提到的bopr模型,据说是微软在做内部比赛的时候提出的模型。

经过这篇文章,我才知道什么是click model,之前做click model局限与在广告预估,现在直到click model主要就是为了给用户建模,有很多相关模型。

摘要

这个模型对参数进行高斯分布假设

介绍

本文作了三大贡献。 首先,它描述了赞助搜索应用场景,CTR预测的关键作用,以及从任务导出的特定约束,包括准确性,校准,可扩展性,动态和探索。 

本文描述了一个基于高斯函数假设的广义线性模型,可分解的参数性的、高斯函数分布,利用信息传递方法提供闭解

其次,它描述了一种用于二进制预测的新贝叶斯在线学习算法,后来被称为adPredictor。 该算法基于具有概率(累积高斯)链接函数的广义线性模型,特征权重的因式分解高斯置信分布,并计算近似后向使用消息传递,提供简单的闭式更新方程,具有自动特征 - 明智的学习率适应。 

第三,我们讨论我们用于使adPredictor在Bing的生产环境中工作的技术,现在每年都会以100%的赞助商搜索流量来展示广告展示。

算法细节

输入是离散变量,做one-hot encoding,label是+-1,输出是点击概率。

这个算法对每个特征的系数w做了贝叶斯假设,假设其符合高斯分布:

并且,该模型认为:


将其表示成概率图模型,就是这样:


其中,包括了两个隐变量s,t,每个隐变量表示对输入的一种变化,首先f指的是w的先验分布,g指的是在当前参数下,w与x的乘积分布;h指的是对当前分布加上高斯噪音之后的分布,然后q指的是通过一个阈值判断当前点击概率分布。

该模型的训练过程如下:


这个过程类似于SGD。可以做到在线学习。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容