scrapy爬虫框架

放上官方文档地址:http://doc.scrapy.org/en/latest

scrapy 框架

  • Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。
  • 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。
  • Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。
Scrapy架构图(绿线是数据流向):
image.png
  • Scrapy Engine(引擎) : 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
  • Scheduler(调度器) : 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
  • Downloader(下载器) : 负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
  • Spider(爬虫) : 它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),
  • Item Pipeline(管道) : 它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方.
  • Downloader Middlewares(下载中间件) : 你可以当作是一个可以自定义扩展下载功能的组件。
  • Spider Middlewares(Spider中间件) : 你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
注意!只有当调度器中不存在任何request了,整个程序才会停止,(也就是说,对于下载失败的URL,Scrapy也会重新下载。)

在开始爬取之前,必须创建一个新的Scrapy项目。进入自定义的项目目录中,运行下列命令:

scrapy startproject Myproject

然后进入到Myproject同名目录下的spider文件夹,在里边创建爬虫文件方可开始:

scrapy genspider jobbole jobbole.com  # 这是域名
image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 要想使用scrapy框架,首先要理解运行的原理 Scrapy Engine(引擎): 负责Spider、ItemP...
    初见_ac87阅读 223评论 0 0
  • 2018.6.4 星期一 晴 亲子日记第177天 亲爱的宝贝,今天是你第二次从学校走回家。妈妈要去接你的时候店...
    涓涓流水_672f阅读 226评论 1 3
  • 今夜你无须想太多,月光是倾泻而下的蓝色丝绸,落在老人手中的蒲扇上,跳过小孩子沾满西瓜子的嘴角,跌入婴儿睡梦铺垫的摇...
    是寂寞的魔术师阅读 79评论 0 0
  • 虽然只有一顿饭的功夫,但是史蒂芬和千千的关系一下子熟络了起来,正好今天也搬到了一个寝室,这是一个寄宿的学校。一个寝...
    面堂阅读 161评论 0 0
  • 要经过多少命运回旋 才能看透世事沧桑 要经历多少天真迷茫 才能懂得低头感恩 我以为我已看透 可以放下所有伪...
    兰妤妤阅读 128评论 0 6