使用 CountVectorizer 计算字数
CountVectorizer不同于bagofword的地方在于其不光对单词索引编码，还统计每一个单词出现的次数，提供了一个简单的方法，既可以标记文本文档的集合, 也可以生成每个已知单词的索引, 还可以使用这一套索引对新文档进行编码。
下面是一种使用方法：
实例化一个CountVectorizer类。
调用fit()函数以从一个或多个文档中建立索引。
根据需要在一个或多个文档中调用transform()函数，将每个文档编码为一个向量。
最终会返回一个已编码的向量, 其长度为索引的个数，该向量还携带有文档中每个单词出现的次数信息。
包含很多零的向量被称为稀疏向量。Python 的scipy.sparse包中提供了一种处理稀疏向量的有效方法。
调用 transform() 返回的向量是稀疏向量，这里可以通过调用 toarray() 函数将它们转换回 numpy 数组以便查看并更好地理解这个过程。
下面是使用 CountVectorizer 标记，构建索引，然后编码文档的示例。
from sklearn.feature_extraction.text import CountVectorizer
# 下面是一个文本文档的列表
text = ["The quick brown fox jumped over the lazy dog."]
# 实例化 CountVectorizer 类
vectorizer = CountVectorizer()
# 标记并建立索引
vectorizer.fit(text)
# 查看结果
print(vectorizer.vocabulary_)
# 编码文档
vector = vectorizer.transform(text)
# 查看编码后的向量
print(vector.shape)
print(type(vector))
print(vector.toarray())
在上面的代码中，如下一行是用来帮助我们访问这个索引并查看标记的结果的：
print(vectorizer.vocabulary_)
我们可以看到，所有的单词默认都是小写字母，标点符号也被忽略了。标记的许多方面都是可以配置的，您可以查看API文档中的所有选项。
运行示例之后，首先输出的是索引，然后输出的是编码文档的结构。我们可以看到索引中有8个词，因此编码向量长度为 8。
从接下来输出的类型中可以看出，编码向量是一个稀疏向量。而最后的输出是编码向量的数组版本，其表达的含义是，索引值为 7 的单词出现次数为 2，其余单词出现次数为 1。
{‘dog‘:1,‘fox‘:2,‘over‘:5,‘brown‘:0,‘quick‘:6,‘the‘:7,‘lazy‘:4,‘jumped‘:3}
(1,8)[[11111112]]
重要的是，同一个矢量化器可以用在包含词汇表中没有包括的单词的文档上。不过，没有包括的词会被忽略，并且不会在结果向量中计数。
举个例子，下面是使用上述向量化器对另一个文档进行编码的例子。这个文本文档包含两个词，一个词包含在索引中，另一个不包含在索引中。
