搜索引擎 - 京东个性化召回DPSR模型

当前电商搜索系统面临的两个主要挑战如下：（1）文本不匹配，语义匹配的商品召回；（2）召回结果的个性化； 本文为了解决这两个问题，提出了DPSR（Deep Personalized and Semantic Retrieval）模型。DPSR主要作用于检索的召回层，使得召回结果更加个性化并且能够召回具有语义匹配的商品。最终AB实验发现，能够提升1.29%的转化率，并且对于长尾Query提升的更多约10.03%的转化率。

电商搜索系统大致分为以下几个模块：
（0）离线商品库建设、及倒排索引的建立。
（1）Query Processing(QP模块)：主要包括分词、拼写纠错、查询改写等；
（2）Candidate Retrieval(候选集召回)：基于离线建立的倒排索引，从几千万个商品中召回几百至上千的商品。用于减少整体服务耗时。
（3）Ranking(排序模块)：用于对召回的结果进行排序，可以经过多层排序包括粗排、精排、重排等阶段。

电商搜索系统大致框架.png

淘宝搜索引擎架构.png

DPSR模型主要分为以下几个模块：（1）Offline Model Training [离线模型训练]；（2）Offline Indexing [离线item embedding索引建立]；（3）Online Serving [在线服务]；

DPSR模块划分.png

DPSR模型是一个典型的双塔模型，由Query塔 $Q$ 和Item塔 $S$ 组成；对于一个给定的query $q$ ，和item $s$ ，一个经典的双塔模型的输出得分 $f(q,s)$ 如下。 $Q(q)$ 代表 $q$ 对应的embedding向量， $S(s)$ 代表物品 $s$ 对应的embedding向量。通常 $G$ 函数采用的是简单的内积操作，即 $G(Q(q), S(s)) = Q(q)^TS(s)$ ；
$f(q, s) = G \left( Q(q), S(s) \right)$
双塔模型这样的设计，可以使得Query embedding和Item embedding计算独立开来。离线可以计算得到所有Item embedding然后建立索引，在线动态计算用户输入的Query embedding，然后通过最近邻搜索算法找到最近邻的TopK个Item。注意：测试的时候每个头的Query embedding都去召回固定数量的item，然后通过Query embedding, Item embedding的内积对所有的召回结果进行排序和截断。

从论文中图3可以看出，通过User Profile, User History Events, Query Tokens embedding得到一个大的embedding之后，经过 $k$ 次投影得到 $k$ 个不同的embedding然后经过三个激活函数为Relu的MLP层，再经过归一化得到最终的Query embedding。因为有 $k$ 个不同的头，所以会得到 $k$ 个Query embedding；
通过多头的Query embedding，能够学到Query不同的意图；比如同一个Query的不同语义（例如苹果）、同一个query的不同品牌（例如手机）、同一个brand的不同产品（例如三星）；

假设总共有 $m$ 个头，每个头得到的Query embedding为 $\left( e_1, e_2, ..., e_m \right)$ ，其中 $e_i \in \mathbb{R}^d$ ；item embedding为 $g$ ，其维度为 $\mathbb{R}^d$ 。
$G(Q(q), S(s)) = \sum_{i=1}^{m} w_i e_i^Tg$
权重 $w_i$ 的计算公式如下，使用一个softmax函数得到。下式中参数 $\beta$ 为softmax函数的温控因子。 $\beta$ 的取值越大，输出结果越平滑。
$w_i = \frac{ exp(e_i^Tg/\beta) }{ \sum_{j=1}^{m} exp(e_j^Tg/\beta) }$
最终训练集是一个三元组的形式，包含输入的Query，正样本 $s_i^+$ ，负样本 $s_j^-$

DPSR训练集.png
损失函数采用的是hinge loss，具体公式如下。其中 $\delta$ 是一个固定的边界值。

DPSR损失函数.png

本文采用了一个混合的负样本采样策略：Random Negatives和Batch Negatives两种策略。 Random Negatives随机的从整个batch中进行采样。Batch Negatives从batch中的正样本进行采样，按照item出现的频率进行采样。最终负样本集合是这两个策略的混合，通过参数 $\alpha$ 进行控制。Random Negatives样本的比例为 $\alpha$ ，Batch Negatives的样本比例为 $1-\alpha$ ；

image.png

除了使用点击数据，我们的模型还使用了一些人为反馈数据：（1）Most skipped items：对于某个Query下召回的商品，如果某个人曝光很多次都跳过了没有任何正向行为，把其作为负样本；（2）Human generated data：利用人工的一些领域知识标注的正负样本数据；（3）Human labels and bad case reports：人工标注的数据，和badcase反馈的数据；

[京东] Towards Personalized and Semantic Retrieval: An End-to-End Solution for E-commerce Search via Embedding Learning https://arxiv.org/pdf/2006.02282.pdf
[淘宝] Embedding-based Product Retrieval in Taobao Search https://arxiv.org/pdf/2106.09297.pdf