Scrapy爬虫
1.新建爬虫工程
scrapy startproject Spider(项目名字)
Spider目录表
2.创建爬虫模块
爬虫模块
在Spider文件夹中创建该代码。
3.网页解析
Scrapy有一套自己的数据提取机制（selector），通过特定的Xpath 或者css表达式来选择HTML文件中的成分。
Selector四种基本方法：
- xpath(query):传入Xpath表达式query，返回表达式所对应的所有节点的selector list列表
-css(query):传入CSS表达式，返回对应的列表 - extract():序列化该节点为Unicode字符串并返回列表
-
re(regex):根据传入的正则表达式对数据进行提取，返回Unicode字符串列表。regex可以是一个已经编译好的正则表达式，也可以是一个将为regex编译为正则表达式的字符串。
Xpath
路径选择
路径表达式
谓语
选取未知节点
选取若干路径
Xpath轴
步的语法
例子
item.xpath(".//*[@class='title']/a/@href").extract()[0])返回系统自带的那个里面是一些你提取的内容中list的第一个元素
带有 yield 的函数在 Python 中被称之为 generator（生成器）
4. Item
image.png
如果需要在原始item的基础上拓展item，则：class newSpiderItem(scrapy.Item)
xxx = scrapy.Field()
5. Item Pipeline(数据保存)
存储图片
定制图片管道的形式，即在ImagePipeline类中实现，为当前要下载的图片保持一个内部队列，将达到的包含相同图片的项目连接到队列中，可以避免多次下载几个项目的同一图片。流程如下
-在一个爬虫里，你抓取一个项目，把其中图片的URL放入 image_urls 组内。
-项目从爬虫内返回，进入项目管道。
- 当项目进入 [
ImagesPipeline]，image_urls组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成图片的下载（或者由于某些原因未完成下载）。
- 当图片下载完，另一个组(
images)将被更新到结构中。这个组将包含一个字典列表，其中包括下载图片的信息，比如下载路径、源抓取地址（从image_urls组获得）和图片的校验码。images列表中的图片顺序将和源image_urls组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现。
开启通道，需要在项目中添加 ITEM_PIPELINES
即ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline':1}并将IMAGE_STTORE设置为有效的文件夹，用来存储下载的图片。
6.运行爬虫
scrapy crawl Spider
