4 协同过滤 - 基于行为
协同过滤算法
- 协同过滤算法是什么？
基于跟你类似的用户喜欢的东西，你也会喜欢
基于跟你喜欢的东西类似的物品，你也会喜欢 - 怎么体现类似的这个情景？
同现相似度，欧几里得距离，皮尔逊相关系数，余弦相似度- 皮尔逊相关系数大小跟紧密程度的关系？
皮尔逊相关系数 [-1, 1]，绝对值越接近于1，越线性相关 - 什么时候使用向量乘法，什么时候选择余弦相似度？
如果向量的长度本身对相似有影响，建议使用内积，比如评分1-5，5分和1分差距就很大
- 皮尔逊相关系数大小跟紧密程度的关系？
怎么实现
数据源的格式是什么？
user_id,movie_id,rating,time_stamp，如果数据过多，可以把根据rate去截取相似的视频
movie, title, genres-
怎么实现上面四种相似度算法？
- 同现相似度：
groupBy，flatMap只生成上三角，然后按照公式计算同现相似度 - 同现相似度的公式是？
N(A)∩N(B)/sqrt(N(A)*N(B))
- 同现相似度：
-
Spark有哪些基本使用方式？
- spark里的groupBy，flatMap等方法的具体怎么用？
https://spark.apache.org/docs/latest/rdd-programming-guide.html
Python里面是groupByKey (K, V) ->(K, Iterable<V>) , reduceByKey, aggregateByKey - Spark SQL和Data Frame是什么？
跟SQL是一个感觉，有map, flatmap, select, join, filter等
- spark里的groupBy，flatMap等方法的具体怎么用？
-
Spark是怎么一个流程?
- 数据准备？
读取item配置表，读取用户行为表
spark有读csv的方法，然后转为dataframe - 怎么读取用户的行为数据，怎么存储的，存储成什么格式，怎么使用这个格式?
具体流程是groupBy,agg,explode
https://spark.apache.org/docs/latest/quick-start.html
统计一个共现的表（上三角），然后与每个展现表作join，最后合并上三角和下三角
相似度计算？
如果用欧几里得距离，直接取分就ok，一直join上去就行，最后只是合并的方案有区别 - 数据准备？
推荐结果计算怎么推荐？
cid 对应 cid和分数 对应一下
然后去排序推荐就好了Datasets RDD Dataframe的区别是？
https://www.infoq.cn/article/three-apache-spark-apis-rdds-dataframes-and-datasets/
https://www.cnblogs.com/starwater/p/6841807.html
Rdd是最基本的[(),()]
Dataframe每一行的类型是Row[Row(value=),Row(value=()]
Dataset每一行的类型是自定义
后两个支持spark sql
5 Word2vec - 基于内容
这一章的脉络是什么？
https://www.cnblogs.com/pinard/p/7160330.html
https://arxiv.org/pdf/1301.3781.pdf
讲了四个语言模型，两个算法
Word2vec算法
- 语言模型
什么是语言模型？
对一段文字出现概率的数学表达式
word2vec从大规模语料中以无监督的方式学习语义知识
输入词预测上下文是skip-gram模型
上下文预测词是CBow模型
word2vec是通过神经网络学习某个语言模型（比如上面两个）的中间结果，有两个降低复杂度的方法 - CBOW one-word context
什么是CBOW？
continuous bags of word
一个词上下文推荐下一个词，分为输入层，隐藏层，输出层，输出层用softmax，词向量为中间的隐藏层 - CBOW multi-world context
多个上下文单词推荐下一个词
跟上面不同的是隐藏层计算，多个上下文单词的向量累加取平均值，然后与输入层->隐藏层的矩阵相乘 - continuous Skip-Gram模型
隐藏层对应多个输出层，输入层有1个词向量，输出层有多个词向量，比如距离最大值为C，选一个1-C的数R，取前后R个词，用2R个数作为输出 - Hierarchical Softmax
https://arxiv.org/pdf/1411.2738.pdf
霍夫曼树：n个节点为n个树，找改森林里面最小的两个根节点，形成一个以这两个节点为子节点的树，根节点的值为两节点之和，加入到森林里面，然后删掉森林，不断循环直到只剩下一个节点https://www.cnblogs.com/pinard/p/7160330.html - Negative Sampling
负采样
https://www.cnblogs.com/pinard/p/7249903.html
