前言
接下来的一段时间里，将完成一个爬虫系列文章，各位请慢慢看，也请慢慢点赞
这一节先讲讲大致工具和目标吧
1 目标和工具
作为菜鸟先从爬图片入手吧，下手目标就是 <a href="http://www.mafengwo.cn">蚂蜂窝旅游网站</a>
爬虫工具用我们的老朋友scrapy
配置python版本用 virtualenv 比较方便使用
命令
virtualenv -p c:\Python36\python.exe HigEnv #windows7
2 基本步骤
1.创建scrapy工程
cmd cd到合适目录下，输入命令
scrapy startproject mafengwoscrapy
这样就在当前目录下创建了mafengwoscrapy这个工程
2.创建一个spider
在mafengwoscrapy工程下的spiders 目录下创建一个 mafengwospider.py文件
注释写的比较清楚可以直接看
# -*- coding: utf-8 -*-
import os
import urllib
from queue import Queue
from urllib import request
import scrapy
from scrapy import Selector, Request
import re
class MafengwospiderSpider(scrapy.Spider):
name = 'mafengwospider'
#开始爬取的网站
start_urls = ['http://www.mafengwo.cn/mdd/']
code_citymap = {}
def parse(self, response):
if response.url == 'http://www.mafengwo.cn/mdd/':
#这是根据页面的来进行xpath匹配
#这一步的目的是爬取mafengwo网站所有的国内城市和对应的code
extract = response.xpath("//div[@class='hot-list clearfix']").xpath(".//a").extract()
#正则表达式提取城市code
pattern = re.compile(r"/(\d*?).html")
for ahtmltext in extract:
#将html格式的字符串进行xpath筛选的方法
code_place = Selector(text=ahtmltext).xpath("//a/@href|//a/text()").extract()
if len(code_place) == 2:
code = pattern.findall(code_place[0])
self.code_citymap[code[0]] = code_place[1]
print(self.code_citymap)
#将城市code放入队列
#采取深度优先的策略爬取
self.codes = Queue()
for a in self.code_citymap.keys():
self.codes.put(a)
citycode = self.codes.get()
#注意下，这个http://www.mafengwo.cn/yj/%s/1-0-1.html的url是mafengwo网站每一个城市的游记列表的入口
#meta用来标识请求来源和请求额外参数很方便
yield Request(url=r"http://www.mafengwo.cn/yj/%s/1-0-1.html" % (citycode),
meta={"code": citycode, "type": "list"})
##判断请求是城市游记文章列表页
elif response.meta["type"] == "list":
code = response.meta["code"]
if 'pageindex' not in response.meta:
pageindex = 1;
else:
pageindex = response.meta["pageindex"]
pageindex += 1
#这个xpath能筛选出该页所有的文章信息
extract = response.xpath(
r"//li[@class='post-item clearfix']/div[@class='post-cover']/a/@href"
).extract()
if len(extract) > 0:
#爬取分页中的每一篇文章
for followurl in extract:
yield response.follow(url=followurl, priority=20,
meta={"code": code, "type": "article"})
#每个城市只爬到第2页
if (pageindex <=2):
yield response.follow(
url="http://www.mafengwo.cn/yj/%s/1-0-%s.html" % (code, pageindex),
priority=10,meta={"code": code, "type": "list", "pageindex": pageindex}
)
#爬下一个城市
elif not self.codes.empty():
citycode = self.codes.get()
yield Request(url=r"http://www.mafengwo.cn/yj/%s/1-0-1.html" % (citycode),
meta={"code": citycode, "type": "list"})
#当前城市返回空，爬下一个城市
elif not self.codes.empty():
citycode = self.codes.get()
yield Request(url=r"http://www.mafengwo.cn/yj/%s/1-0-1.html" % (citycode),
meta={"code": citycode, "type": "list"})
#判断请求的是文章详情页
elif response.meta["type"] == "article":
code = response.meta["code"]
htmlname = response.url.split("/")[-1].replace(r".html", "")
#提取出该文章中所有的图片链接
images = response.xpath(
"//img[@class='_j_lazyload _j_needInitShare']/@data-src").extract()
if len(images) == 0:
print(htmlname + " failed")
for i in range(len(images)):
#所有图片下载到本地
print(images[i])
filedir = "E:/images/mafengwo/%s" % (self.code_citymap[code])
if not os.path.exists(filedir):
os.makedirs(filedir)
imagefilepath="%s/%s_%s.jpg" % (filedir, htmlname, i)
if not os.path.exists(imagefilepath):
#python3 urllib下载简单图片或者文件的方法
req=urllib.request.Request(images[i])
with urllib.request.urlopen(req,timeout=10) as f:
with open(imagefilepath,"wb") as writef:
writef.write(f.read())
整体的爬虫代码需要结合网页的源码看，没什么细节的就不多说了，另外在工程目录
的settings.py中，改下参数
# 设置为不遵守robot协议
#以及每次scrapy request 请求最小间隔为1s，防止被反爬虫
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1
3.启动爬虫
爬虫启动很简单的，cd 到 mafengwoscrapy工程目录下执行
scrapy crawl mafengwospider 即可
4.结果
爬取的速度不是很快，结果如截图所示
城市列表.png
城市里面的游记.png
