这部分算是图模型吧，会比较简略。
node2vec召回
简单说呢，node2vec是通过构造item（根据需要，其实uploader或者user也可以用）之间的关系图，根据边的权值来选择相关的item，构造sentence。然后怎么样？然后word2vec啊。word2vec，或者说item2vec，是通过单一用户来构造sentence的，node2vec打破了这一限制。
先贴几个链接：1. node2vec论文链接 2. 靠谱的知乎文章 3. 靠谱的知乎文章2
算法有两个假设，一是条件独立假设，就是说每个邻居点之间相互独立；二是特征空间对称假设，就是说两个点之间是互相影响的。这两个假设是为了导出目标函数服务的，详细看上面的三个链接，这里略去了。既然最后还是要用word2vec，其实推导过程也都是相似的，有些trick也是相通的，比如负采样之类。
我认为从item2vec进化到node2vec，关键的点在于，图怎么构造？sentence怎么构造？
先说图，我们就以item图为例。我们手里有的数据是用户的行为历史，理解为每个user跟着一串item list，在实践中，会限制行为的时间范围（例如2h内的行为list或者若干次刷新内的行为list），也会限制list的长度。然后呢，按照行为顺序连线，最后存起来是“item1 item2 weight"的形式。贴一段代码品品意思：
sortedUserActionRdd.repartition(600).flatMap(
x => {
val result = ListBuffer[(String, Float)]()
val actionSet = x._2
if(actionSet.length >= 2){
var index = 1
while (index < actionSet.length){
val curAction = actionSet(index)
val lastAction = actionSet(index-1)
if(curAction._4.toLong - lastAction._4.toLong < TWO_HOUR_MILL){
val weight = lastAction._2 * curAction._2 * curAction._3
if(lastAction._1 > curAction._1){
result.append((lastAction._1 + "\t" + curAction._1, weight))
}else{
result.append((curAction._1 + "\t" + lastAction._1, weight))
}
}
index = index + 1
}
}
result
}
).reduceByKey(_ + _).map(x => x._1 + "\t" + x._2).saveAsTextFile(outputPath)
上面的代码注意到，item之间是有个weight的，最后是reduceByKey加和了一下。这个weight是什么？其实可以自己定义。上面代码里使用的是：source_item完成度 * target_item完成度 * 二者时长得分的较大值。注意，完成度也是可以自己定义的，例如为了避免极值影响太大，可以取log(x+1)，这里x是传统意义上的完成度；时长得分也是自己定义的，因为时长指标比较重要，所以需要考虑下视频时长本身的影响。
时长得分可以设计为一个偏移过的SIGMOD，参数可以通过拟合视频时长的累积分布得到（python里有scipy.optimize， 可以curve_fit）：
def calDurationScore(timeDuration: Float): Float = {
(0.96179781 - 9.11275437/(1 + Math.exp(0.54759073 * (timeDuration/100 + 3.90174182)))).toFloat
}
好了，有了图怎么构造sentence？BFS和DFS当然是可以的，n2v用了一种参数控制的随机游走方法。
上式定义了从v到转移到x的概率，其中pi是未归一的，Z是归一化常数。Pi_vx = alpha_pq(t,x) * w_vx，其中alpha的公式如下：
上面这一堆图其实是说了件什么事呢，就是我从t走到了v，下一步要去哪的问题。p控制了返回t的概率，p高那就返回概率低；q控制“in-out"的概率，q高就倾向于访问t的近邻（跑不远）。直观来说，p高q低倾向于DFS，这时候会挖掘更高阶的协同信息，可以作为item2vec的有效补充；p低q高倾向于BFS，更多的是一阶协同；p=q=1的时候就是随机游走。
从采样序列的过程可以看到，node2vec比item2vec进步的地方就在于，i2v的正样本是有概率在n2v中出现的，而n2v中可能出现高阶协同的正样本，这就打破了单个user的限制。举例来说，用户1的行为ab，用户2的行为ac，在i2v里面是不可能有bc这个样本，而n2v里面可以有。
算法过程：
注意到这里有个alias采样，它的时间复杂度是O(1)，具体介绍看大佬关于采样的分享。
关于node2vec具体的实现代码可以看 大佬github链接，这部分我也没有细看了（难点吧也是...后面如果有机会再补充，如果我不懒的话）。
实践中，item图的node2vec指标效果跟item2vec差不多(原因可能是p=0.5,q=2)，但是占比却高很多（短视频里）。这是为什么？n2v跟i2v单召回源指标差不多可以理解，因为建模的样本基本是一样的（或者说类似的），建模方式不一样。占比高说明触发源比较多,这样用户看了一个视频可能没有i2v，但是会有n2v。n2v整体效果提升是因为他挤占了一些比他差的召回源的流量，比如标签召回等。
加个问题，n2v如何对新物品进行召回？参考阿里的论文 其实是加入了side_info，比如item的up、tag等等（例如原本的skip gram输入是i1输出是i2，这时候输入就变成了i1,tag...输出还是i2），然后对新物品就用side_info的均值来代替。简单贴个图：
graphsage召回
这部分待补充吧，实践中效果一般，主要是因为没来得及优化就换业务了。
