scrapy简介中简单介绍了scrapy爬虫，这节就深入的研究一下scrapy的各个模块的使用方法。
首先创建爬虫，在命令行中使用 scrapy startproject 项目名
创建项目
项目目录
可以看到目录中有一个scrapy.cfg文件，这个文件是scrapy项目的配置文件。
items.py：可以自定义item类，做为数据模型。
middlewares.py：可以自定义中间件。
pipelines.py：可以自定义Pipeline类，进行数据清洗，存储。
settings.py：爬虫的配置文件，例如可以设置爬虫的等待时间、并发数量等等。
还有两个__init__.py文件，打开看可以发现什么都没有，但是并不能删除。
创建好爬虫项目，也简略分析了每个文件的作用，可以发现一点，并没有哪个文件是给用户写爬虫逻辑的。
此时就需要下一条命令了， scrapy genspider 爬虫名 爬取的域名
创建爬虫
项目目录
可以看到spiders文件夹中多了一个movie_spider.py的文件，打开看一下：
import scrapy
class MovieSpiderSpider(scrapy.Spider):
name = 'movie_spider' #爬虫名称
allowed_domains = ['www.ygdy8.net'] #允许访问的域名
start_urls = ['http://www.ygdy8.net/'] #爬虫爬取的url
def parse(self, response):
"""
处理返回的Response
"""
pass
接下来，我们就把爬虫的逻辑完善一下，做一个爬取阳光电影的爬虫，记录一下电影名字和下载地址。
首先在items.py中创建一个item类：
# -*- coding: utf-8 -*-
import scrapy
class FirstScrapyItem(scrapy.Item):
title = scrapy.Field()
download_url = scrapy.Field()
然后完善一下爬虫的代码：
# -*- coding: utf-8 -*-
import scrapy
from urllib import parse
from .. import items
class MovieSpiderSpider(scrapy.Spider):
name = 'movie_spider'
allowed_domains = ['www.ygdy8.net'] # 允许访问的域名
start_urls = [
'http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html',
'http://www.ygdy8.net/html/gndy/dyzz/list_23_2.html',
'http://www.ygdy8.net/html/gndy/dyzz/list_23_3.html',
'http://www.ygdy8.net/html/gndy/dyzz/list_23_4.html',
'http://www.ygdy8.net/html/gndy/dyzz/list_23_5.html'
] # 电影天堂最新电影 前五页
def parse(self, response):
"""
处理返回的Response
"""
#获取信息列表
table_list = response.xpath("//*[@class=\"co_content8\"]/ul/td/table")
for table in table_list:
#获取详情页url，并且把url让如到Scheduler中，等待爬取
url = table.xpath("./tr[2]/td[2]/b/a/@href").extract()[0]
yield scrapy.Request(parse.urljoin(response.url, url), callback=self.parse_detail)
def parse_detail(self, response):
# print(response.body.decode("gbk"))
content = response.xpath("//*[@class=\"bd3r\"]")
item = items.FirstScrapyItem()
item["title"] = content.xpath("./div[@class=\"co_area2\"]/div[@class=\"title_all\"]/h1/font/text()").extract()[0]
item["download_url"] = content.xpath("./div[@class=\"co_area2\"]/div[@class=\"co_content8\"]/ul/tr[3]/td[1]/div[@align=\"left\"]/div[@id=\"Zoom\"]/td/table/tbody/tr/td/a/@href").extract()[0]
yield item
然后再写一个管道，处理抓取的信息，暂时先写入到文本中，使用json格式：
# -*- coding: utf-8 -*-
import json
class FirstScrapyPipeline(object):
def __init__(self):
self.file = open("data.json", "w")
def process_item(self, item, spider):
text = json.dumps(dict(item), ensure_ascii=False) + "," + "\n"
self.file.write(text)
return item
def close_spider(self, spider) :
self.file.close()
最后配置一下settings.py文件
# -*- coding: utf-8 -*-
BOT_NAME = 'first_scrapy'
SPIDER_MODULES = ['first_scrapy.spiders']
NEWSPIDER_MODULE = 'first_scrapy.spiders'
#不遵守robot.txt协议
ROBOTSTXT_OBEY = False
#设置一下默认的header信息
DEFAULT_REQUEST_HEADERS = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
}
#开启自定义的管道
ITEM_PIPELINES = {
'first_scrapy.pipelines.FirstScrapyPipeline': 300,
}
最后在使用命令 scrapy crawl movie_spider 运行爬虫，如果没有异常，则会在项目根目录中出现一个data.json文件，里面存储的就是爬取的数据。
至此，第一个scrapy案例结束。
