DL Basic

• Word2Vec
  • skipgram
  • cbow
  • hierarchical softmax
  • Negative sampling
  • subsampling of frequent words
  • GloVeThe skip-gram negative sample inllustrated-word2vec On word embeddings - Part 2: Approximating the Softmax Efficient Estimation of Word Representations in Vector Space Distributed Representations of Words and Phrases and their Compositionality
• LSA
• LDA
• CRF Conditional Random Fields
• RNN
• LSTM + GRU + 梯度消失/梯度爆炸 三次简化一张图：一招理解LSTM/GRU门控机制 https://blog.csdn.net/qq_25737169/article/details/78847691 A Gentle Introduction to Exploding Gradients in Neural Networks https://kexue.fm/archives/7888
• CRF+LSTM https://zhuanlan.zhihu.com/p/111340463
• Attention
• Bert
• Transformer
• ELMO
• 损失函数
• 激活函数 Softmax-logsoftmax: https://cs231n.github.io/linear-classify/#softmax-classifier
• 评估指标
• 优化器
• NCE Noise Contrastive Estimation A Gentle Introduction to Noise Contrastive Estimation
• MLE （Maximum Likelihood Estimation），MAE（Maximum a posteriori）
• 初始化参数
• pearson相关性 / 距离度量 https://www.zhihu.com/question/19734616
• 多任务学习
• 线上性能优化方法 bert
• BN https://zhuanlan.zhihu.com/p/34879333

ML Basic

• KNN
• EM算法
• Decision Tree
• SVM
• GBDT
• 隐马尔可夫
• adaboost
• XGBoost
• 手写KMeans k-means聚类算法原理及python3实现
• 条件熵、交叉熵、互信息 详解机器学习中的熵、条件熵、相对熵和交叉熵 互信息(Mutual Information)浅尝辄止（一）：基础概念
• EM https://zhuanlan.zhihu.com/p/78311644

Graph

• Random Walk
• Deep Walk
• GNN
• GCN - 手写
• Laplacian Matrix
• Node2Vec

推荐系统

• 评估指标
• 损失函数
• DSSM
• 基于Bert
• 业务场景
• DIN
• FM/FFM 深入浅出Factorization Machines系列

大数据

• hadoop
• spark
• hive

数学基础

• 各种分布 正态分布

算法

• 快速排序
• 数据结构与算法系列 目录 xy的矩阵，从右下角走到左上角有多少种走法？ dp或者排列组合 给定一个排序好的数组，两个整数 k 和 x，从数组中找到最靠近 x（两数之差最小）的 k 个数？