爬取获得的数据通过 item 类实例化，然后传递到管道，通过管道进行进一步处理。
要使用管道，需要通过 item，我们先定义 item，编辑 items.py：
import scrapy
class QuotesItem(scrapy.Item):
text = scrapy.Field()
author = scrapy.Field()
创建 Scrapy 项目时候，会生成一个 pipelines.py 文件，在这里编写管道相关的代码，为了等下的演示，我们加上如下代码：
class TutorialPipeline(object):
def process_item(self, item, spider):
print('爬虫：' + spider.name + ' 使用管道')
return item
然后在 settings.py 中设置启用管道，找到 ITEM_PIPELINES 然后修改它。
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
# 设置我们项目的管道，如果有多个管道，后面数值要不同
'tutorial.pipelines.TutorialPipeline': 300,
}
编写我们的爬虫，爬取数据，并通过 item 类实例化：
import scrapy
from tutorial.items import QuotesItem
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def parse(self, response):
text_list = response.css('span.text::text').extract()
author_list = response.css('small.author::text').extract()
quotes_item = QuotesItem()
for text,author in zip(text_list, author_list):
# item类实例化
quotes_item['author'] = author
quotes_item['text'] = text
yield quotes_item
使用以下命令运行爬虫：
scrapy crawl quotes
看到以下输出：
说明管道能获取到 item 中的数据了。
下面我们通过管道来把爬取到的数据写入 sqlite 数据库中。
在编写 scrapy 相关代码之前，我们先手动创建好数据表，并定义好相关字段。
做好以上准备后，编写 pipelines.py 文件：
import sqlite3
class TutorialPipeline(object):
# 开启爬虫时候执行的函数
# 这里的作用是连接数据库
def open_spider(self, spider):
self.con = sqlite3.connect('quotes.db')
# 处理item的函数
# 这里的作用是执行相关SQL语句
def process_item(self, item, spider):
ins = "INSERT INTO quotes (author) VALUES ('{}')".format(item['author'])
self.con.execute(ins)
self.con.commit()
print('抓取到：' + item['author'])
return item
# 关闭爬虫时执行的函数
# 这里的作用是关闭数据库
def close_spider(self, spider):
self.con.close()
