导入
from skleran.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
CountVectorizer+TfidfTransformer
CountVectorizer会将文本中的词语转换为词频矩阵，它通过fit_transform函数计算各个词语出现的次数,通过get_feature_names()可获得所有文本的关键词，通过toarray()可看到词频矩阵的结果。
TfidfTransformer用于统计vectorizer中每个词语的TFIDF值。
TfidfVectorizer
将原始文档的集合转化为tf-idf特性的矩阵，相当于CountVectorizer配合TfidfTransformer使用的效果。
即TfidfVectorizer类将CountVectorizer和TfidfTransformer类封装在一起。
- 参数
input：string {'filename'，'file'，'content'}
如果'filename'，作为参数传递的顺序适合，预计将是需要读取以获取原始内容进行分析的文件名列表。
如果'file'，序列项必须有一个'read'方法（类文件对象），被调用来获取内存中的字节。
否则，输入将被预期是顺序字符串或字节项预期直接分析。
encoding：string，'utf-8'。
如果要分配字节或文件，则使用该编码进行解码。
decode_error：{'strict'，'ignore'，'replace'}
如果给出分析字节序列包含不是给定编码的字符，该怎么做。默认情况下，它是'strict'，这意味着将会引发一个UnicodeDecodeError。其他值是“忽略”和“替换”。
strip_accents：{'ascii'，'unicode'，无}
在预处理步骤中删除口音。'ascii'是一种快速的方法，只适用于具有直接ASCII映射的字符。'unicode'是一种稍慢的方法，适用于任何字符。无（默认）不起作用。
analyzer：string，{'word'，'char'}或可调用
该功能是否应由字符或字符n-gram组成。
如果传递了一个可调用函数，它将用于从原始未处理的输入中提取特征序列。
预处理器：可调用或无（默认）
覆盖预处理（字符串转换）阶段，同时保留令牌化和n-gram生成步骤。
tokenizer：可调用或无（默认）
覆盖字符串标记化步骤，同时保留预处理和n-gram生成步骤。仅适用如果。analyzer == 'word'
ngram_range：tuple（min_n，max_n）
不同n值的n值范围的下边界和上边界被提取。将使用所有n值，使得min_n <= n <= max_n。
stop_words：string {'english'}，list或None（默认）
如果是字符串，则将其传递给_check_stop_list，并返回相应的停止列表。'english'是目前唯一支持的字符串值。
如果一个列表，该列表被假定为包含停止词，所有这些都将从生成的令牌中删除。仅适用如果。analyzer == 'word'
如果没有，将不会使用停止的单词。max_df可以设置为[0.7,1.0]范围内的值，以根据术语的语料库文档频率自动检测和过滤停止词。
小写：布尔值，默认值为True
在标记化之前将所有字符转换为小写。
token_pattern：string
表示什么构成“令牌”的正则表达式，仅用于。默认正则表达式选择2个或更多字母数字字符的标记（标点符号被完全忽略，并始终作为令牌分隔符处理）。analyzer == 'word'
max_df：float in range [ 0.0，1.0 ]或int，default = 1.0
当构建词汇时，忽略文档频率严格高于给定阈值（语料库特定停止词）的术语。如果为float，则该参数代表一定比例的文档，整数绝对计数。如果词汇不是无，则忽略此参数。
min_df：float in range [ 0.0，1.0 ]或int，default = 1
当构建词汇时，忽略文档频率严格低于给定阈值的术语。这个值在文献中也被称为截止值。如果为float，则该参数代表一定比例的文档，整数绝对计数。如果词汇不是无，则忽略此参数。
max_features：int或None，default = None
如果不是无，建立一个词汇，只考虑由词汇频率排序的顶级max_feature。
如果词汇不是无，则忽略此参数。
词汇表：映射或迭代，可选
键是术语和值的映射（例如，dict）是特征矩阵中的索引，或者可迭代的术语。如果没有给出，则从输入文档确定词汇表。
binary：boolean，default = False
如果为True，则所有非零项计数都设置为1.这并不意味着输出将只有0/1值，只有tf-idf中的tf项是二进制的。（将idf归一化为False，得到0/1输出。）
dtype：type，可选
由fit_transform（）或transform（）返回的矩阵的类型。
规范：'l1'，'l2'或无，可选
用于规范化术语向量的规范。没有没有规范化。
use_idf：boolean，default = True
启用逆文档频率重新加权。
smooth_idf：boolean，default = True
通过将文档频率添加一个平滑的idf权重，就好像一个额外的文档被看到包含一个集合中的每个术语一次。防止零分。
sublinear_tf：boolean，default = False
应用子线性tf缩放，即用1 + log（tf）替换tf。
参考资料
https://blog.csdn.net/hutao1101175783/article/details/74618205
官方文档
