参加向右奔跑老师爬虫小分队二期学习已经快一周的时间啦，之前完成的三篇作业一直都是关于Python程序逻辑的训练，虽然之前有过使用BeautifulSoup爬去简单网页数据的尝试，但是对网页结构化数据的抓取还从来没有尝试过，通过这几天参考同学们完成的作业和彭老师推荐的简书文章，今天尝试一次爬虫糗事百科数据（数据包括：作者，性别，年龄，段子内容，好笑数，评论数），并插入MySQL数据库。
代码如下：
import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
host='localhost',
user='root',
passwd='root',
db='test',
port=3306,
charset='utf8'
)
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
#模拟浏览器访问网页
html = requests.get(url,headers).content
#lxml解析网页内容返回给soup
soup = BeautifulSoup(html,'lxml')
#find_all得到所有包含目标内容的div的集合
div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
#for循环分别读取div集合中的目标数据
for div in div_list:
#定位获取作者名字数据
author = div.find('h2').text
#正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
if genders == None:
gender = 'Null'
age = 'Null'
else:
gender = genders.attrs['class'][1][:-4]
age = genders.text
#定位获取内容数据
content = div.find('span').text
#定位获取好笑数数据
funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
if funny_nums == None:
funny_num = 0
else:
funny_num = funny_nums.text
#定位获取评论数数据
comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
if comment_nums == None:
comment_num = 0
else:
comment_num = comment_nums.text
#选择test数据
cursor.execute("use test")
#执行insert插入语句
cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num))
#不执行不能插入数据
connect.commit()
if __name__ == '__main__':
#分别构建1-35页的url
for i in range(1,36):
url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
get_data(url)
#关闭数据库链接，释放资源
connect.close()
print('SUCCESS!')
插入数据库
第一次完成网页结构化数据的抓取，几乎每一段程序代码都加了注释说明，成功爬到糗事百科35页699条数据，并存入本地搭建的MySQL数据库，存在一个问题向大家请教，糗事百科的匿名用户的年龄和性别不存在，直接判断过滤，但是匿名用户的段子内容数据没有抓到和插入数据库，程序执行过程也没有报任何错误！还请哪位大神看出问题所在后，留言指点！拜谢！拜谢！
上面的问题感谢罗罗攀 和Mr_Cxy的帮忙解答，问题还是对网页结构分析的不够透彻，没有发现匿名用户和非匿名用户的网页结构不同，没法直接用 content = div.find('span').text直接获取数据匿名用户的段子内容数据，需要分开处理，用 content = div.find_all('span')[2].text或者= div.select('span')[2].text获取获取数据匿名用户的数据，下面是修改后的程序代码：
import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
host='localhost',
user='root',
passwd='root',
db='test',
port=3306,
charset='utf8'
)
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
#模拟浏览器访问网页
html = requests.get(url,headers).content
#lxml解析网页内容返回给soup
soup = BeautifulSoup(html,'lxml')
#find_all得到所有包含目标内容的div的集合
div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
#for循环分别读取div集合中的目标数据
for div in div_list:
#定位获取作者名字数据
author = div.find('h2').text
#正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
if genders == None:
gender = 'Null'
age = 'Null'
#定位获取匿名用户段子内容数据
content = div.find_all('span')[2].text
else:
gender = genders.attrs['class'][1][:-4]
age = genders.text
#定位获取非匿名用户段子内容数据
content = div.find('span').text
#定位获取好笑数数据
funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
if funny_nums == None:
funny_num = 0
else:
funny_num = funny_nums.text
#定位获取评论数数据
comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
if comment_nums == None:
comment_num = 0
else:
comment_num = comment_nums.text
#选择test数据
cursor.execute("use test")
#执行insert插入语句
cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num))
#不执行不能插入数据
connect.commit()
if __name__ == '__main__':
#分别构建1-35也的url
for i in range(1,36):
url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
get_data(url)
#关闭数据库链接，释放资源
connect.close()
print('SUCCESS!')
