英语:
1.去杂乱:
1.1 转化为小写字母
1.2 数字转化为words 或者移除数字
1.3 移除标点符号其他字符
1.4 展开缩写
2.分词tokenization
2.1 分词
nltk.tokenize.word_tokenize
2.3 去停用词
在英文中，例如，"a"，"the",“to"，“their”等冠词，借此，代词..... 我们可以直接用nltk中提供的英文停用词表
3.词干提取stemming
import nltk.stem.porteraspt
import nltk.stem.lancasteraslc
importnltk.stem.snowballassb
("----------词干提取-------------")
# 在名词和动词中，除了与数和时态有关的成分以外的核心成分。
# 词干并不一定是合法的单词
pt_stemmer = pt.PorterStemmer() # 波特词干提取器
lc_stemmer = lc.LancasterStemmer() # 兰卡斯词干提取器
sb_stemmer = sb.SnowballStemmer("english")# 思诺博词干提取器
4.词形还原Lemmatization
from nltk.stem import WordNetLemmatizer
lemma = WordNetLemmatizer()
lemma_word = lemma.lemmatize(tokens[index])
5.P-O-S(Part-of-speech)提取词性特征
词性标记旨在根据其定义和上下文，将语音部分分配给给定文本的每个词（例如名词，动词，形容词和其他词）。
常用HMM来构建模型
6.特征工程
6.1 词袋模型Bag of Words
BOW:
CountVectorizer()每个单词为一个label,向量为计数
TF-IDF:Term Frequency-Inverse Document Frequency
from sklearn.feature_extraction.text import TfidfVectorizer
6.2 N-gram
几个相邻有序单词的联合量
"I love deep learning"，可以分解的 Bi-gram 和 Tri-gram ：
Bi-gram : {I, love}, {love, deep}, {love, deep}, {deep, learning}
Tri-gram : {I, love, deep}, {love, deep, learning}
6.3 Word2vec词向量
https://www.sohu.com/a/128794834_211120
Word2vec 是一种用于从原始文本中学习词嵌入的模型，它有很高的计算效率。
因为word2vector模型的得到的是词向量，如何表示句子呢？最简单的方法就是，将每个句子中的词向量相加取平均值，即每个句子的平均词向量来表示句子的向量。
如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做『Skip-gram 模型』
做法是，将一个词所在的上下文中的词作为输出，而那个词本身作为输入，也就是说，给出一个词，希望预测可能出现的上下文的词。通过在一个大的语料库训练，得到一个从输入层到隐含层的权重模型。如下图所示，第l个词的上下文词是i，j，k，那么i，j，k作为输出，它们所在的词汇表中的位置的值置为1。然后，输入是l，把它所在的词汇表中的位置的值置为1。训练完成后，就得到了每个词到隐含层的每个维度的权重，就是每个词的向量。
而如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 『CBOW 模型』
CBOW，它的做法是，将一个词所在的上下文中的词作为输入，而那个词本身作为输出，也就是说，看到一个上下文，希望大概能猜出这个词和它的意思。通过在一个大的语料库训练，得到一个从输入层到隐含层的权重模型。如下图所示，第l个词的上下文词是i，j，k，那么i，j，k作为输入，它们所在的词汇表中的位置的值置为1。然后，输出是l，把它所在的词汇表中的位置的值置为1。训练完成后，就得到了每个词到隐含层的每个维度的权重，就是每个词的向量。
将corpus的one-hot向量（模型的输入）转换成低维词向量（模型的中间产物，更具体来说是输入权重矩阵）
6.4 LDA主题生成模型
它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系
https://blog.csdn.net/v_july_v/article/details/41209515
中文与英语的区别:
1.分词: 中文需要特定的语料库
2.英文需要stemming 跟Lemmatization
3.词性标注差异
https://zhuanlan.zhihu.com/p/59838270
词干提取与词形还原区别:
词干提取只是删除后缀,词干并不一定是合法的单词, 词形还原是还原成词根.
词干提取更多被应用于信息检索领域，如Solr、Lucene等，用于扩展检索，粒度较粗。词形还原更主要被应用于文本挖掘、自然语言处理，用于更细粒度、更为准确的文本分析和表达
参考网站:
'20+ POPULAR NLP TEXT PREPROCESSING TECHNIQUES IMPLEMENTATION IN PYTHON' https://dataaspirant.com/nlp-text-preprocessing-techniques-implementation-python/#t-1600081660732
https://my.oschina.net/u/4332712/blog/3670292
包含各种库 https://medium.com/@datamonsters/text-preprocessing-in-python-steps-tools-and-examples-bf025f872908
词袋模型 https://blog.csdn.net/u012328159/article/details/84719494
word2vec https://zhuanlan.zhihu.com/p/26306795
https://www.sohu.com/a/128794834_211120
