本文介绍的是阿里18年的一篇论文，本文关注的不是CTR／CVR预估，而是对于排序公式参数的优化，分为离线寻优和线上探索两部分，一起来学习下。
1、背景
搜索广告展示通常按照以下的流程，广告主首先在想要参与竞价的关键词上设置自己的出价；当用户就某个关键词进行搜索时，系统将参与该关键词竞价的广告进行召回，并按照统一的排序公式进行排序，并选择排名最前的广告进行展示（本文的场景下只展示一个广告），并采用二价计费GSP计算广告的计费（一般为CPC）；当用户点击了对应的广告时，系统按照计算好的计费向广告主收取相应的费用。
搜索广告涉及平台、广告主、用户三方面的利益。对广告主来说，希望在平台上提升自己的流量和销量；对于用户来说，希望通过平台快速找到自己想要的商品；对于平台来说，希望用户体验、广告主诉求能够得到满足，同时能够最大化自身的收益。
为了满足三方的诉求，一个合理的排序公式的设计显得格外重要，接下来，我们将首先介绍排序公式的设计，随后介绍如何基于强化学习，通过离线和在线相结合的方式，计算合理的排序公式参数。
2、排序公式设计
为平衡平台、用户和广告主三方的诉求，搜索广告的排序公式设计如下：
其中ai(i=1,2,...,5)是排序公式中的参数，fa代表队CTR或CVR预估值的非线性单调映射，a2和a4用于平衡公式中的三项。基于如上的排序公式，广告主二价计费的结果为：
其中，ad'代表排在下一位的广告。有了如上的排序公式形式，接下来的任务是，寻找合适的参数a，来最大化奖励：
奖励设计可以包含多项，如用户下单，平台收入等等。
排序公式中的参数可以是固定的，即对所有请求都采用相同的参数，但这显然是次优的。最优的方案应该是基于不同请求的上下文，计算最佳的个性化参数，那么如何实现呢？咱们在下一节进行介绍。
3、系统介绍
完整的系统架构如下图所示：
可以看到，系统中主要包含三个模块，分别是仿真环境模块、离线参数训练模块、在线参数探索模块。
3.1 离线仿真模块
强化学习模型的训练需要较为充分的探索，在线的方式对于线上表现是有损的，因此通常的做法就是构建离线仿真环境。
离线仿真模块的主要作用是基于收集的日志（包含用户搜索关键词，召回的广告队列，每个广告预估的CTR和CVR信息等），探索不同动作下的即时奖励，产生更多的样本。那么这里的重点是如何模拟即时奖励？
首先对即时奖励进行设计，即时奖励可以包含多项，如用户下单，点击，广告收入等等。如如下的即时奖励是对平台收益和用户体验的平衡：
上式中CTR为预估的CTR，由于受到展示位置等因素的影响，该CTR与真实的CTR是不相等的，存在一定的GAP，如下图所示。因此，为了使用仿真系统的用户反馈估计更加贴近线上真实情况，需要对预估CTR／CVR进行校准（Calibration），采用的方式是保序回归（ Isotonic regression method）。
3.2 离线参数训练模块
这里，使用基于强化学习的方法来优化广告展示序列的总体收益而非单点收益。强化学习的几个要素定义如下：
状态state：状态s包含三方面的特征，搜索关键词特征如关键词ID、关键词类别ID、用户画像和行为序列特征以及广告队列相关特征
动作action：动作action即排序公式的参数a
状态转移：这里一个eposide定义为用户的一次浏览，浏览过程中用户会不断翻页，状态转移发生在用户的翻页过程中。
即时奖励reward：同3.1节
由于动作空间是连续的，基于DQN的强化学习方法并不适用，因此采用policy-gradient的方法。论文采用的是DDPG的方法，其框架如下图所示：
DDPG训练需要较长的时间，因此文中采用了并行训练的方式：
如上图，基于离线仿真环境，使用不同的agent进行探索，生成不同的训练样本，不同的worker使用不同的训练样本进行训练并计算梯度，最后所有worker的梯度回传给参数服务器，参数服务器每隔N步进行网络参数的更新。
离线训练好DDPG模型后，我们得到的并不是直接的排序公式参数，而是训练好的Actor网络。将Actor网络部署到线上后，每次用户的搜索请求或翻页请求到来，Actor网络会计算对应的策略，即对应的排序公式参数。因此排序公式参数是请求个性化的。
3.3 在线参数探索模块
尽管采用了校准的方式对奖励进行一定程度的修正，离线仿真环境和线上真实环境还是存在一定的差异，离线得到的Actor网络是次优的，因此进一步通过在线的探索，对Actor网络参数进行更新（相比于直接进行线上探索，先离线确定base再进行线上探索的方式对线上表现的损害小很多）。
线上探索使用的是进化策略（evolution strategy，可以参考论文《Evolution strategies as a scalable alternative to reinforcement learning》）。具体地，假设离线训练得到的Actor网络参数为θ兀，基于高斯噪声（均值为0，方差为δ）对参数进行扰动，得到n组参数，分别为：
对于每一组参数，基于线上实际的反馈计算得到奖励Ri，并根据下面的式子对参数进行更新：
首先，由于不同参数对应的广告曝光数可能不一样，因此用第一个式子是对奖励进行校准，其次，使用第二个式子进行参数更新，由于使用奖励作为权重，因此参数更多的向奖励更大的方向更新。这是一种免梯度的参数更新方式，更加高效。
讲到这里，对于排序公式参数的设计、离线训练和线上寻优的整体过程就介绍完了。感兴趣的同学可以找到原文进行进一步阅读～
