思维导图如下，如有需求联系作者（免费发送！！）
自然语言处理.png
词法分析
分词
-
中文分词
-
字典树
-
二分搜索查找树
- 首字哈希
-
双数组字典树
- 基于DAT的AC自动机
-
-
扫描规则
- 正向最长
- 逆向最长
- 双向最长
-
n元语法
- 最短路径
- N最短路径
序列标注
-
-
英文分词
- 空格切分
- 有限状态自动机
- byte pair encoding
词干提取
- 波特词干算法
词性还原
- 基于词典
词性标注
- Meta-BiLSTM
- Flair
命名实体识别
有限状态自动机
-
序列标注
角色标注
-
IOBES标注
- Bert
- Flair
- ELMo
- CVT
句法分析
依存句法分析
-
基于图
- Eisner算法
- 最大生成树
- Chu-Liu-Edmonds算法
- BiAffine算法
-
基于转移
-
转移系统
- Arc-Standard
- Arc-Eager
- Arc-Swift
- list-based Arc-Eager
- Pseudo-Projective Parsing
- Online Reordering
-
学习策略
- 静态规范
- 动态规范
-
语义分析
词义消歧
-
监督学习
-
传统方法
- 互信息
- 贝叶斯模型
- 最大熵模型
-
深度学习
- Attention+BiLSTM
- ELMo
-
-
无监督学习
- Shotgun WSD
- MCS Estimation
-
基于知识
- 基于词典
- Yarowsky算法
语义角色标注
-
传统方法
- 基于短语结构树
- 基于依存句法树
- 基于语块
-
深度学习
- ELMo
- 联合学习谓词与论元
语义依存分析
-
基于图
- BiAffine+Bert
-
基于转移
- list-based Arc-Eager+Tree RNN
抽象语义表示
Sequence-to-Graph Transducer
基于机器翻译
-
基于转移
- AMREager
- CAMR
-
基于图
- JAMR
自然语言转SQL
- Seq2Seq
- 语义分析器
文本聚类
- 聚类算法
- 特征提取
文本分类
传统方法
分词
停用词过滤
-
特征选择
- 卡方检验
- 互信息
词袋向量
-
浅层学习
- NB朴素贝叶斯
- SVM支持向量机
- KNN K近邻
- DT决策树
- RF随机森林
深度学习
- Recursive Neural Network 递归神经网络
- Graph Neural Network 图神经网络
- Fasttext
- XLNet
- Bert
- ULMFiT
情感分析
文本摘要
抽取式
-
无监督学习
- TextRank
- LexRank
- TF-IDF
-
监督学习
二分类模型
序列标注模型
回归排序模型
-
深度学习
- RNEs
- SWAP-NET
- Latent
- HeterSumGraph
生成式
- Seq2Seq+Attention
- 指针网络(Pointer-Generator Network)
- Attention-Based Summarization
- 生成对抗网络(GAN)
- 关键信息指导网络(KIGN)
- 深度沟通代理(DCA)
主题模型
LSA
- 奇异值分解
LDA
- 马尔科夫链
- 吉布斯采样
自动编码器
受限玻尔兹曼机
语音识别
传统方法
- 傅里叶变换
- 倒谱均值归一化
- 声道长度归一化
- 声学模型
- 发音模型
- 隐马尔可夫模型
- n元语法
深度学习
- ContextNet
- 连接时序分类(connectionist temporal classification)
- LSTM-HMM
- 神经网络语言模型
内容推荐
协同过滤
- 欧氏距离
- 余弦距离
- Tanimoto 系数
深度学习
- RBM
- AE
- CNN
- RNN
- DSSM
基于知识
-
基于路径
- HeteroMF
- Hete-MF
-
基于嵌入
- Node2vec
- entity2vec
- DKN
- RKGE
-
基于混合
- RippleNet
- KGCN
- KGAT
常识推理
Bert
XLNet
指代消解
类型
- 共指
- 回指
- 所指
规则系统
- 朴素Hobbs
统计方法
- Mention-Pair
- Mention-Ranking
- Entity-Mention
人机对话
对话行为分类
- CRF-ASN
- BiLSTM-CRF
对话状态跟踪
- Delexicalised RNN
- Neural Belief Tracker(NBT)
- 全局-局部自注意力(GLAD)
- Fully NBT
检索式回复机器人
- Poly Encoder
- Bert
- ELMO
生成式回复机器人
- TransferTransfo
- XNLG
- Seq2Seq
意图识别
- classification模型
- match模型
槽位填充
- Seq2Seq+Attention
- Event Schema Induction
语法纠错
Copy机制
- spellingcheck+transformer
- Copy-Augmented Transformer
- Confusionset guided Pointer Networks
MASK机制
- Transformer
- FASPell
- Soft-Masked BERT
- SpellGCN
关系预测
张量分解
- RESCAL
图神经网络
- RGCN
- KBAT
表示学习
- TransE
- TransH
- ConvE
- ConvKB
实体链接
实体消歧模型
- DeepType
- ELDEN
- DeepCosine
联合抽取模型
- end-to-end EL
- Stack-LSTM
- CDTE
- WAT
机器问答
基于知识
- Gated Graph Neural Networks
- Bidirectional Attentive Memory Networks
- KemQA
基于检索
- Denoising QA
- DecaProp
完形填空
- Attentive Reader
- Standford Reader
- Match-LSTM
- AoA Reader
- CoVe + DCN
- QANet
- Hierarchical Attention Flow
- GPT
信息抽取
名词短语规范化
- CESI
三元组抽取
-
SPO定义
- 主体subject
- 客体object
- 关系predicate
-
Bert
- R-Bert
- Muti-Attention CNN
-
CNN
- CR-CNN
- GCN
-
RNN
- Entity Attention Bi-LSTM
- Hierarchical Attention Bi-LSTM
-
依存句法分析(dependency parsing)
- BRCNN
- SDP-LSTM
- DepNN
语言模型
统计语言模型
- N-gram
- Pitman-yor过程
神经语言模型
- 神经网络语言模型(NNLM)
- RNN 语言模型(RNNLM)
- 双向语言模型(BiLM)
- AWD-LSTM
- Transformer-XL
- Gated CNN
- 预训练语言模型
词汇规范化
- MoNoise
- Joint POS + Norm in a Viterbi decoding
- Syllable based
- unLOL
自然语言推理
注意力机制
- BiLSTM-Attention
- 深度递归卷积网络(DRCN)
- Transformer
记忆增强
- 记忆网络(MemNN)
- 循环实体网络(ENTNET)
- 快速响应网络(Quick Response Network)
- 可微分神经计算机(DNC)
- 神经过程网络(NPN)
机器翻译
规则机器翻译
统计机器翻译
- IBM1
- IBM2
- IBM3
- IBM4
- 语言模型
神经机器翻译
-
Seq2Seq
- RNN
- LSTM
- GRU
- ConvS2S
Transformer
文本语义相似度
距离度量
- Levenshtein最小编辑距离
- Jaccard杰卡德相似度
- Cos余弦相似度
文本表示
-
特征建模
- TF-IDF
- BM25
- SimHash
- LSA
- LDA
-
深层语义
- Gensen
- XLNet
- 双塔模型(Siamese Network)
-
复杂交互
- MatchPyramid
- ESIM(Enhancing Sequential Inference Model)
- BiMPM(Bilateral multi-perspective matching model)
- MWAN(Multiway Attention Networks)
词嵌入Embedding
语境相关/动态
- ELMO
- Flair
- Bert
- XLNet
语境无关/静态
- Word2vec
- Glove
- Fasttext
知识图谱Knowledge Graph
机器学习
监督学习
隐马尔可夫模型
最大熵模型
条件随机场
结构化感知机
感知机
逻辑回归
朴素贝叶斯法
K近邻
决策树
支持向量机
-
神经网络
-
网络模块
全连接神经网络
-
卷积神经网络
- 池化层
- 卷积层
-
循环神经网络
- RNN
- GRU
- LSTM
- Stacked LSTM
- Highway Connection
-
递归神经网络
- Tree-RNN
- Syntactically-United RNN
- Matrix-Vector RNN
-
注意力神经网络
- Soft Attention
- Multi-Head Attention
- Hierarchical Attention Model
- Transformer
-
图神经网络
- GNN
- GCN
- GAT
-
激活函数
- Softmax
- elu
- selu
- softplus
- softsign
- relu
- tanh
- sigmoid
-
初始化
- 正态分布
- 均匀分布
- 常数初始化
- 正交初始化
-
优化器
- SGD
- RMSprop
- Adagrad
- Adadelta
- Adam
- Adamax
- Nadam
-
训练策略
- dropout
- word dropout
- variational dropout
- 正则化
- 对抗训练
-
无监督学习
-
聚类分析
-
估计聚类数量
- gap statistic
- 平方误差和
- 轮廓系数
-
聚类算法
- K Means
- 重复二分法
- DBSCAN
- 层次聚类法HAC
-
-
概率密度估计
- 异常检测
- 对抗神经网络
- 自动编码器
- 受限玻尔兹曼机
-
可视化
- PCA
- t-SNE
半/自监督学习
-
Self-Training
-
LM
- ELMo
- GPT
- UNiLM
-
MLM
- Bert
- SpanBert
- XLM
- MASS
- T5
-
PLM
- XLNet
-
去噪自编码器DAE
- Bart
-
对比学习CTL
-
RTD
- CBOW-NS
- ELECTRA
-
NSP
- Bert
- UNiLM
-
SOP
- ALBert
- StructBert
-
-
知识增强
-
向量融合
- ERNIE
- KnowBert
- Bert-MK
-
知识监督
- WKLM
- LIBert
- GLM
-
结构统一
- K-Bert
- CoLAKE
-
联合训练
- KEPLER
- K-ADAPTER
-
知识检索
- FaE
- REALM
-
-
Co-Training
半监督SVM
生成式模型
图半监督学习
主动学习
强化学习
-
Model-free
- Q learning
- Sarsa
- Policy Gradients
-
model-based
- Model-Based Policy Optimization
- MB-MPO
