what is
点击率预估指，预测一个用户对候选集目标的点击率， 进而决定对用户展示哪一个目标。
why
在推荐、搜索、计算广告中， 这都是处于枢纽位置的核心角色， 堪称重中之重。
点击率、转化率、回访率直接决定了网站的收入、粘度， 反映了其长期和短期的健康状况。
how
点击率预估的典型场景是预估用户对一个目标(商品、广告、搜索结果)的点击率， 以推荐为例我们讲述下常见的处理方式。
step
一个标准的机器学习点击率预估模型包含如下步骤:
- 用户特征矩阵构建
- 商品特征矩阵构建
- 训练数据、训练目标构建
feature
用户的特征数据主要包含：
- demographics信息 ：性别、年龄、职业、宝宝年龄、地域
- 历史行为信息：用户对目标商品对应的品牌、类目、店铺以及商品本身的行为数据
- 商品信息：
- 所属的店铺、品牌、类目
- 销量、收藏量、加购量、购买周期
- 趋势
- 性别比例、年龄比例、地域比例
特征基本通过以上交叉组合、一阶函数、二阶函数产出。
训练数据以曝光数据额采集为主， 在曝光数据有偏的情况下可以采用预测曝光的技术增加训练数据量。
model
点击率预估主流以ltr模型为主， 比如lambdamart、ranksvm、pairwise-lr等。
这个比较好理解， 我们并不是真的要知道点击率是多少， 而是在候选集中选出用户最有可能点击的那一个，所以一个排序模型远比lr或者gbdt来的有效。
考虑到数据规模， 因为id特征的引入轻松能将特征提升到百亿-千亿的量级， 所以基于参数服务器架构的模型有天然的优势。
pairwise的模型比较常见的问题是数据规模， 因为正负样本组合的量级比较恐怖， 有效的做法是将正样本和最正的负样本组对。
label
虽然是点击率预估， 其实还是包含了用户的一个兴趣的潜在含义。
因此我们可以通过丰富的行为组件ltr模型的label， 例如：购买>加购>收藏>点击>不点击。
系统
业界比较通行的在线学习的算法是ftrl， 考虑到运算速度和存储数据的平衡， 一般采用用户、商品矩阵离线构建， 交互特征在线运算的方式。
用户、商品的特征矩阵存放在一个kv存储中，而交互特征通过计算的方式解决。
summary
以上是点击率预估step by step的一份说明， 但是其中包含的江湖野技巧和黑科技才是大家最津津乐道的部分。
