文章目录
一、爬虫部分
1、目标网站:网易新闻
首先我们看到最上方绿色方框圈中的部分，这就是我们要爬取的分类。在这里我一共选择了国内、国际、军事、航空、科技这五个分类进行爬取
接下来我们以打开国内的新闻为例进行分析
2、分析网址
我们打开开发者工具，来寻找我们的数据
选择network,刷新网页，找js，找到后台json数据（如下图所示）
在这里插入图片描述
那么接下来我们查看它的headers获取它的链接地址就可以开始构造代码了。
3、构造URL
我们可以看到headers中的请求地址，不同类别新闻的请求地址的不同之处在于红框中的 部分
在这里插入图片描述
代码如下,每个类别的请求地址为两个（第一个为第一页地址，第二个为后面若干页地址）
#要爬取的新闻分类地址国内、国际、军事、航空、科技
url_list={'国内':[ 'https://temp.163.com/special/00804KVA/cm_guonei.js?callback=data_callback',
'https://temp.163.com/special/00804KVA/cm_guonei_0{}.js?callback=data_callback'],
'国际':['https://temp.163.com/special/00804KVA/cm_guoji.js?callback=data_callback',
'https://temp.163.com/special/00804KVA/cm_guoji_0{}.js?callback=data_callback'],
'军事':['https://temp.163.com/special/00804KVA/cm_war.js?callback=data_callback',
'https://temp.163.com/special/00804KVA/cm_war_0{}.js?callback=data_callback'],
'航空':['https://temp.163.com/special/00804KVA/cm_hangkong.js?callback=data_callback&a=2',
'https://temp.163.com/special/00804KVA/cm_hangkong_0{}.js?callback=data_callback&a=2'],
'科技':['https://tech.163.com/special/00097UHL/tech_datalist.js?callback=data_callback',
'https://tech.163.com/special/00097UHL/tech_datalist_0{}.js?callback=data_callback']}
4、解析页面
针对每一页的内容，获取到json数据后提取新闻标题
titles=[]
categories=[]
def get_result(url):
global titles,categories
temp=parse_class(url)
#去除空白页
if temp[0]=='>网易-404</title>':
return False
print(url)
titles.extend(temp)
temp_class=[key for i in range(len(temp))]
categories.extend(temp_class)
return True
循环爬取所有页面
for key in url_list.keys():
#按分类分别爬取
print("=========正在爬取{}新闻===========".format(key))
#遍历每个分类中的子链接
#首先获取首页
get_result(url_list[key][0])
#循环获取加载更多得到的页面
for i in range(1,10):
try:
if get_result(url_list[key][1].format(i)):
pass
else:
continue
except:
break
print("爬取完毕！")
5、保存数据
由于新闻具有实时性，每天，或者每天的不同时间段会有不同的新闻产生，因此在保存前将此次爬取中与之前保存的数据中重复内容删除再保存，以达到扩充数据集的目的。
def update(old,new):
'''
更新数据集：将本次新爬取的数据加入到数据集中（去除掉了重复元素）
'''
data=new.append(old)
data=data.drop_duplicates()
return data
new=pd.DataFrame({
"新闻内容":titles,
"新闻类别":categories
})
old=pd.read_csv("新闻数据集.csv",encoding='gbk',engine='python')
print("更新数据集...")
df=update(old,new)
df.to_csv("新闻数据集.csv",index=None,encoding='gbk')
print("更新完毕，共有数据:",df.shape[0],"条")
这样所有的内容就爬取下来了。
可视化看下爬到的各个分类的新闻的数量
在这里插入图片描述
接下来我们就要对爬取到的内容进行文本分类.
二、文本分类
1、数据清洗、分词
首先需要清理掉停用词，以及标点符号。停用词可以直接百度搜索停用词表非常多，将爬取的文本数据中的停用词去掉即可。
def remove_punctuation(line):
line = str(line)
if line.strip()=='':
return ''
rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")
line = rule.sub('',line)
return line
def stopwordslist(filepath):
stopwords = [line.strip() for line in open(filepath, 'r', encoding="UTF-8").readlines()]
return stopwords
#加载停用词
stopwords = stopwordslist("./stop_words.txt")
#删除除字母,数字，汉字以外的所有符号
df['clean_review'] = df['新闻内容'].apply(remove_punctuation)
#分词，并过滤停用词
df['cut_review'] = df['clean_review'].apply(lambda x: " ".join([w for w in list(jb.cut(x)) if w not in stopwords]))
print("数据预处理完毕！")
2、tf-idf词向量，构建朴素贝叶斯模型
数据清洗完毕后直接使用sklearn提供的库将文本数据转换成词向量，进行数据集切分，开始训练
#转词向量
tfidf = TfidfVectorizer(norm='l2', ngram_range=(1, 2))
features = tfidf.fit_transform(df.cut_review)
labels = df.新闻类别
#划分训练集
x_train,x_test,y_train,y_test=train_test_split(features,labels,test_size=0.2,random_state=0)
model=MultinomialNB().fit(x_train,y_train)
y_pred=model.predict(x_test)
print("模型训练完毕！")
3、模型评估
这里我们使用混淆矩阵来对模型进行评估
# 绘制混淆矩阵函数
def plot_confusion_matrix(cm, classes,
normalize=False,
title='Confusion matrix',
cmap=plt.cm.Blues):
plt.figure(figsize=(8,6))
plt.imshow(cm, interpolation='nearest', cmap=cmap)
plt.title(title)
plt.colorbar()
tick_marks = np.arange(len(classes))
plt.xticks(tick_marks, classes, rotation=45)
plt.yticks(tick_marks, classes)
fmt = '.2f' if normalize else 'd'
thresh = cm.max() / 2.
for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
plt.text(j, i, format(cm[i, j], fmt),
horizontalalignment="center",
color="white" if cm[i, j] > thresh else "black")
plt.tight_layout()
plt.ylabel('真实标签')
plt.xlabel('预测标签')
plt.show()
class_names=['军事','国内','国际','科技','航空']
cm= confusion_matrix(y_test, y_pred)
title="分类准确率:{:.2f}%".format(accuracy_score(y_test,y_pred)*100)
plot_confusion_matrix(cm,classes=class_names,title=title)
print("分类评估报告如下:\n")
print(classification_report(y_test,y_pred))
在这里插入图片描述
到此我们整个爬虫+数据分析建模的过程就结束了，要是对准确率有要求可以去尝试更多不同模型。
完整代码和数据集以及停用词表可关注以下公众号回复"0002"获取
在这里插入图片描述
