from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
def navieBayes():
# 朴素贝叶斯进行分类
# 获取数据，subset="all"是获取所有数据
news = fetch_20newsgroups(subset="all")
# 进行数据分割
# 传参为特征值：news.data -> 文章，news.target -> 每篇文章所属类别，test_size -> 测试集的大小
# x为特征值，y为目标值，train为训练集，test为目标集
x_train,x_test,y_train,y_test = train_test_split(news.data,news.target,test_size = 0.25)
# 对数据集进行特征抽取
tf = TfidfVectorizer()
# 以训练集当中的 词的列表 进行 每篇文章 的重要性统计
# x_train与x_test的特征数量（词的长度）是一样的
x_train = tf.fit_transform(x_train)
# 在训练集中统计了许多词建立成列表，并将其的重要性以二位数组的形式展现
print(tf.get_feature_names())
x_test = tf.transform(x_test)
# 进行朴素贝叶斯算法的预测
mlt = MultinomialNB(alpha=1.0)
# 打印训练集的格式
print(x_train.toarray())
# x_train:训练集的特征值，y_train:训练集的目标值
mlt.fit(x_train,y_train)
# 得到预测出来的文章类别
y_predict = mlt.predict(x_test)
print("预测的文章类别为：",y_predict)
# 得出准确率
print(mlt.score(x_test,y_test))
if __name__ == '__main__':
navieBayes()
【朴素贝叶斯】新闻分类Demo
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 1 问题背景 我们有一堆新闻文本数据，包含“新闻类别”、“新闻内容”两列，希望建立一个模型，来预测新闻内容属于哪个...
- 文章原创,最近更新：2018-08-21 学习参考链接:第4章 基于概率论的分类方法：朴素贝叶斯 本章节的主要内容...
- 分类模型 VS 回归模型 分类是预测一个标签，其结果是某几个类别当中的一个。回归是预测一个值。 贝叶斯公式 用语言...
