CrawlSpider它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作．
一、创建crawlspider爬虫文件
１、创建项目
scrapy startproject 项目名称
2、创建CrawlSpider爬虫
- 首先进入到Spider文件夹下
scrapy genspider -t crawl 爬虫名称 域
二、spider文件(爬虫文件)
设置rules
name = 'xcfCrawlSpider'
#设置允许爬取的域
allowed_domains = ['xiachufang.com']
#设置起始的url
start_urls = ['http://www.xiachufang.com/category/']
#rules:是一个元组（列表）,里面存放的是规则Rule规则对象 可以设置多个规则
rules = (
Rule(
#匹配你要爬取的url
LinkExtractor(allow=r'.*?/category/\d+/'),
#回调函数
callback='parse_item',
#设置是否要跟进
follow=True,
# 指定一个方法,可以在这个方法中拦截request对象
process_links='check_category_url'
),
)
#CrawlSpider使用rules属性来决定爬虫的爬取规则，将匹配后的url请求提交给引擎,完成爬取工作。
注意:提取匹配,并使用spider的parse方法进行分析;并跟进链接(没有callback意味着follow默认为True)
三、设置settings.py
#设置是否遵守robot协议
1.ROBOTSTXT_OBEY = False
#设置下载延时
2.DOWNLOAD_DELAY = 3
#3.设置全局的Header
DEFAULT_REQUEST_HEADERS = {
'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:59.0) Gecko/20100101 Firefox/59.0',
}
4.激活pipelines数据处理管道
ITEM_PIPELINES = {
'xiachufang.pipelines.XiachufangPipeline': 300,
}
#关于数据库的相关配置
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_USER = ''
MYSQL_PWD = ''
MYSQL_DB = ''
CHARSET = 'utf8'
四、items.py:定义要爬取的字段
例如
#要到入scrapy模块
import scrapy
#接下来要定义你要爬取的字段
class XiachufangItem(scrapy.Item):
#图片链接
coverImage = scrapy.Field()
#名称
title = scrapy.Field()
#评分
score = scrapy.Field()
五、piplines.py:数据管道
#在这里导入你要保存的数据库
#mysql
import mysql
class XiachufangPipeline(object):
#初始化__init__方法
def __init__(self,host,port,user,pwd,db,charset):
self.client = pymysql.Connect(host,user,pwd,db,port,charset=charset)
self.cursor = self.client.cursor()
@classmethod
#配置数据库
def from_crawler(cls,crawler):
host = crawler.settings['MYSQL_HOST']
port = crawler.settings['MYSQL_PORT']
user = crawler.settings['MYSQL_USER']
pwd = crawler.settings['MYSQL_PWD']
db = crawler.settings['MYSQL_DB']
charset = crawler.settings['CHARSET']
return cls(host,port,user,pwd,db,charset)
def process_item(self, item, spider):
sql,data = item.insert_data_to_db(dict(item))
try:
self.cursor.execute(sql,data)
self.client.commit()
print('插入成功')
except Exception as err:
print(err)
self.client.rollback()
return item
def close_spider(self,spider):
self.cursor.close()
self.client.close()、
运行：
scrapy crawl xcfcrawlspider
