组件图
五大模块:
*引擎(Scrapy):用来处理整个系统的数据流处理, 触发事务(框架核心)
*调度器(Scheduler):调度器接受引擎传来的数据,维护需要爬取的网页URL队列,并通过规定的调度机制将URL创建为下载请求。
*下载器(Downloader):用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
*管道(Item Pipeline):将爬取到的内容转换为实体对象,并对实体对象做有效性验证、持久化等等自定义的操作。
*爬虫(Spiders):在爬虫中,定义爬取URL的规则和网页信息的提取规则。