1. CountVectorizer
设我们有N个文档。 CountVectorizer首先统计这N个文档中除stop_words之外所出现过的词，生成一个词汇表（设词汇表为V，其长度为|V|）。再生成一个N*|V|的数组，设为A，则A[i, j]代表词汇表V中第j个词在第i个文档中出现的次数。
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
X_test = ['I am a student','You can’t even make this stuff up']
# stop_words=None表示不去掉停用词，若改为stop_words='english'则去掉停用词；
count_vec=CountVectorizer(stop_words=None)
# 训练count_vec中的属性，并返回数组
arr = count_vec.fit_transform(X_test).toarray()
print('result array:\n', arr)
print('vocabulary list:\n', count_vec.get_feature_names()) # 列表中的词汇按照英文字母表的顺序排列。
print('vocabulary_:\n', count_vec.vocabulary_)
#####################################################
########## CountVectorizer同样适用于中文 ###############
#####################################################
X_test = ['中国 你 是 城市 都是 小区', '中国 你 小区 旅行 饮食 学校']
## 默认将所有单个汉字视为停用词；
count_vec=CountVectorizer(token_pattern=r"(?u)\b\w\w+\b")
arr = count_vec.fit_transform(X_test).toarray()
print('result array:\n', arr)
print('vocabulary list:\n', count_vec.get_feature_names())
print('vocabulary_:\n', count_vec.vocabulary_)
# 结果
result array:
[[1 0 0 0 1 0 0 0 0]
[0 1 1 1 0 1 1 1 1]]
vocabulary list:
['am', 'can', 'even', 'make', 'student', 'stuff', 'this', 'up', 'you']
vocabulary_:
{'am': 0, 'student': 4, 'you': 8, 'can': 1, 'even': 2, 'make': 3, 'this': 6, 'stuff': 5, 'up': 7}
result array:
[[1 1 0 1 0 1 0]
[1 0 1 1 1 0 1]]
vocabulary list:
['中国', '城市', '学校', '小区', '旅行', '都是', '饮食']
vocabulary_:
{'中国': 0, '城市': 1, '都是': 5, '小区': 3, '旅行': 4, '饮食': 6, '学校': 2}
2. TfidfVectorizer
设我们有N个文档。 TfidfVectorizer首先统计这N个文档中除stop_words之外所出现过的词，生成一个词汇表（设词汇表为V，其长度为|V|）。再生成一个N*|V|的数组，设为W，则W[i, j]代表词汇表V中第j个词在第i个文档中的tf-idf值。
#####################################################
########## TfidfVectorizer ###############
#####################################################
X_test = ['中国 你 是 城市 都是 小区', '中国 你 小区 旅行 饮食 学校']
# 默认将所有单个汉字视为停用词；
tfidf_vec=TfidfVectorizer(token_pattern=r"(?u)\b\w\w+\b")
arr = tfidf_vec.fit_transform(X_test).toarray()
print('result array:\n', arr)
print('vocabulary list:\n', tfidf_vec.get_feature_names())
print('vocabulary_:\n', tfidf_vec.vocabulary_)
# idf(d, t) = log [ (1 + n) / (1 + df(d, t)) ] + 1.
print('idf:\n', tfidf_vec.idf_)
# 结果
result array:
[[0.40993715 0.57615236 0. 0.40993715 0. 0.57615236
0. ]
[0.35520009 0. 0.49922133 0.35520009 0.49922133 0.
0.49922133]]
vocabulary list:
['中国', '城市', '学校', '小区', '旅行', '都是', '饮食']
vocabulary_:
{'中国': 0, '城市': 1, '都是': 5, '小区': 3, '旅行': 4, '饮食': 6, '学校': 2}
idf:
[1. 1.40546511 1.40546511 1. 1.40546511 1.40546511
1.40546511]
3. DictVectorizer
设我们有N个文档。 TfidfVectorizer首先统计这N个文档中除stop_words之外所出现过的词，生成一个词汇表（设词汇表为V，其长度为|V|）。再生成一个N*|V|的数组，设为W，则W[i, j]代表词汇表V中第j个词在第i个文档中对应的值。
#####################################################
########## TfidfVectorizer ###############
#####################################################
from sklearn.feature_extraction import DictVectorizer
v = DictVectorizer(sparse=False)
D = [{'foo': 1, 'bar': 2},{'foo': 3, 'baz': 1}]
X = v.fit_transform(D)
print('result array:\n', X)
X_inverse = v.inverse_transform(X)
print('X_inverse:\n', X_inverse)
X = v.transform({'foo':4, 'unseen_feature': 3})
print('X:\n', X)
# 结果
result array:
[[2. 0. 1.]
[0. 1. 3.]]
X_inverse:
[{'bar': 2.0, 'foo': 1.0}, {'baz': 1.0, 'foo': 3.0}]
X:
[[0. 0. 4.]]
