前言：
这次给大家带来一个简单的爬虫案例，就是爬取意林杂志所有期刊的文章。
Snipaste_2021-03-16_10-39-05.png
一、分析网页
可以看出这个网站的网页很规整，每一年的期刊日期都是一个链接，点击进去就是该期期刊的所有文章标题，如图：
Snipaste_2021-03-16_10-42-48.png
每一个标题文字就是该文章的内容的链接，点击这个链接就是该标题的文章具体的内容：
Snipaste_2021-03-16_10-44-58.png
现在我们理解了网站的具体构成，下面就说一下大概的思路，通过主页链接提取出每一期的网页链接和每一期的期刊日期，在对每一期的网页链接发送请求，获取到每一期的期刊具体内容的标题和链接，然后在对该标题链接发送请求，获取到该标题文章的具体内容，最后保存文章，保存为每一期的日期号作为一个文件夹，这个文件夹里面是该期的所以文章，一个标题一篇文章。
因为该网站的网页非常规整，所以我就不在这里过多展示分析html网页的过程了，解析可以xpath，也可以css选择器，根据自己的喜好来。
本案例所用到的模块：
import requests
import parsel
import os
二、发送请求，获取响应
def parse_url(self, url):
"""
发送请求，获取响应数据的方法
:param url: self.HOME_URL
:return:
"""
response = requests.get(url, headers=self.headers)
response.encoding = response.apparent_encoding
if response.status_code == 200:
return response.text
三、提取主页的期刊号和该期刊的链接
def get_periodicals(self, html_str):
"""
提取各期刊刊号和链接的方法
:param html_str:
:return:
"""
html = parsel.Selector(html_str)
# 提取期刊号列表
periodicals_title_list = html.css('.booklist tr>.time>a::text').extract()
# 提取该期刊的链接列表
periodicals_urls = html.css('.booklist tr>.time>a::attr(href)').extract()
periodicals_url_list = [self.HOME_URL + i for i in periodicals_urls]
return periodicals_title_list, periodicals_url_list
四、提取每期期刊的所以文章标题和该文章的链接
def get_article_data(self, html_str2, article_url_temp):
"""
提取期刊文章的所在链接的方法
:param html_str2:
:param article_ur_temp:
:return:
"""
html = parsel.Selector(html_str2)
# 提取文章标题列表
article_titles = html.css('.maglistbox>dl>dd>.maglisttitle>a::text').extract()
article_title_list = [i.strip() for i in article_titles]
# 提取该文章所在的链接列表
article_urls = html.css('.maglistbox>dl>dd>.maglisttitle>a::attr(href)').extract()
article_url_list = [article_url_temp + i for i in article_urls]
return article_title_list, article_url_list
五、提取文章的具体内容
def get_article_infos(self, html_str3):
"""
提取期刊文章的方法
:param html_str3:
:return:
"""
html = parsel.Selector(html_str3)
# 提取文章的具体内容
article_infos = html.css('.blkContainerSblkCon>p::text').extract()
article_info = "".join([i.strip() for i in article_infos])
return article_info
六、保存文章
def save_article(self, periodicals_title, article_title, article_info):
"""
保存期刊文章的方法
:param periodicals_title:
:param article_title:
:param article_info:
:return:
"""
path = os.path.join('期刊文章',periodicals_title')
os.makedirs(path, exist_ok=True)
with open(f'{path}\\{article_title}.txt', 'a', encoding='utf-8') as txtfile:
txtfile.write(article_info)
print(f'{path}{article_title}-----保存成功')
七、实现程序的主要思路
def run(self):
"""
实现主要逻辑思路
:return:
"""
# 1.发送请求，获取响应数据
html_str = self.parse_url(self.HOME_URL)
# 2.提取各期刊刊号和链接
periodicals_title_list, periodicals_url_list = self.get_periodicals(html_str)
for periodicals_title, periodicals_url in zip(periodicals_title_list, periodicals_url_list):
# 3.构建临时文章地址
article_url_temp = periodicals_url[:-10]
# 4.对期刊url地址发送请求，获取响应
html_str2 = self.parse_url(periodicals_url)
# 5.提取期刊文章的所在链接
article_title_list, article_url_list = self.get_article_data(html_str2, article_url_temp)
for article_title, article_url in zip(article_title_list, article_url_list):
# 6.对期刊文章链接发送请求，获取响应数据
html_str3 = self.parse_url(article_url)
# 7.提取期刊文章内容
article_info = self.get_article_infos(html_str3)
# 8.保存期刊文章内容
self.save_article(periodicals_title, article_title, article_info)
效果展示：
Snipaste_2021-03-16_10-30-17.png
Snipaste_2021-03-16_11-05-13.png
