搬运自自己的CSDN博客
课题需要，写了一个百度百科的爬虫，暂时不能全面获取页面的内容，但是相比网上的大部分爬虫已经比较全面了，以“尼米兹级航空母舰”为例，可以获取的内容包含以下几个部分：
在这里插入图片描述
在这里插入图片描述
用红色方框框出来的部分，包括：词条名称、描述、基本信息、第二级标题、正文描述。
本人的爬虫使用beautifulsoup4解析网页，一共分为三步
- 下载页面，伪造header，通过Py自带的request工具打开网页，设置10秒超时；
- 搜索关键词，关键词一般是中文，放到url中需要用Py自带的quote工具编码，默认第一条结果就是目标词条，根据标签<a class=result-title href=...>获取到词条的链接。
- 获取词条内容，根据html标签逐一读取内容，将需要的信息存储到list中，奇数行是属性名，偶数行是属性值，最终存储到本地的txt文件中保存，存储到本体的代码没有放出来。第二张图的大段文本是一个难点，文本的上一级标题可能是h2也可能是h3，暂时没有想到好的方法同时保留两种标题，目前的方法去掉了h3的标题。有兴趣的朋友可以试试有没有好的方法，
#coding=utf8
import re
import string
import urllib.request
from urllib.parse import quote
from bs4 import BeautifulSoup
#下载网页内容
def download(url):
if url is None:
return None
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
'Accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9,image/webp, * / *;q = 0.8'}
request = urllib.request.Request(url, headers=headers)
try:
response = urllib.request.urlopen(request, timeout=10)
except:
print('返回 ' + url + ' 失败')
else:
print('返回 ' + url + ' 成功')
return response.read().decode()
#根据关键词定位到词条的链接
def search(keyword):
url = 'https://baike.baidu.com/search?word=' + "尼米兹级航空母舰" + '&pn=0&rn=0&enc=utf8'
#将汉字转为url可识别的编码
url = quote(url, safe=string.printable)
soup = BeautifulSoup(download(url),'lxml')
#返回第一个结果
first = soup.find('a',class_='result-title')
return first.get('href')
#根据链接获取页面内容
def spider(url):
htmlContent = download(url)
if htmlContent is None:
return
soup = BeautifulSoup(htmlContent, 'lxml')
result = []
# 去除注释
regex = re.compile('\[.{0,7}\]')
# url
result.append('url:')
result.append(url)
#名称
title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
result.append('名称:')
item_name = title_node.get_text().strip()
result.append(item_name)
#描述
summary_node = soup.find('div', class_='lemma-summary')
result.append('描述：')
text = regex.sub('',summary_node.get_text().strip()).replace('\n','').strip()
result.append(text)
#基本信息
basic_name = soup.findAll('dt',class_='basicInfo-item name')
basic_value = soup.findAll('dd',class_='basicInfo-item value')
for i in range(len(basic_name)):
name = str(basic_name[i].get_text()).replace('\xa0','').strip()+'：'
value = str(basic_value[i].get_text()).replace('\xa0','').strip()
#去掉[1][12-13]这样的注释
value = regex.sub('',value).strip()
result.append(name)
result.append(value)
#去除图片中的文字
tags = soup.findAll('div',class_='lemma-picture text-pic layout-right')
for tag in tags:
tag.clear()
#去掉前面的描述，防止对解析后面的文字造成干扰
summary_node.clear()
#大段的描述
paras = soup.findAll('div', class_='para')
#遍历para标签，寻找上一个h2标签作为属性名，h2之间的文字作为属性值
temp_h2 = paras[0].find_previous('h2').get_text().replace(item_name,'')
temp_para = ''
result.append(temp_h2+':')
for i in range(len(paras)):
text = paras[i].get_text()
text = regex.sub('',text).strip().replace('\n','')
h2 = paras[i].find_previous('h2').get_text().replace(item_name,'')
if h2 == temp_h2:
temp_para += text
else:
result.append(temp_para)
result.append(h2+':')
temp_para = text
temp_h2 = h2
if i == len(paras) - 1:
result.append(temp_para)
return result
运行爬虫，在本地的结果如下图。
在这里插入图片描述
爬虫本身还有很多不足，缺失了词条的很多信息，后面还会进一步完善。
