组件图
image
五大模块：
*引擎(Scrapy)：用来处理整个系统的数据流处理, 触发事务(框架核心)
*调度器(Scheduler)：调度器接受引擎传来的数据，维护需要爬取的网页URL队列，并通过规定的调度机制将URL创建为下载请求。
*下载器(Downloader)：用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
*管道(Item Pipeline)：将爬取到的内容转换为实体对象，并对实体对象做有效性验证、持久化等等自定义的操作。
*爬虫(Spiders)：在爬虫中，定义爬取URL的规则和网页信息的提取规则。
image
