scrapy是基于异步的爬虫，适用于多网页的爬取。主要有几个重要组件，一个是spider，具体的分析爬取信息，一个是items，存储爬取下来的信息，一个是pipeline，把item储存的信息清洗，存到数据库，最后一个是settings，用于控制整个爬虫组件。
安装：
用anaconda装，方便快捷。在anaconda里用pip install scrapy就好了
生成一个scarpy项目，转到需要的文件下
scrapy startproject 项目名称
就会在该文件夹下生成相关文件。
image.png
接下来需要做的就是前面说的填充几个组件。
其中spider需要自己创建一个.py的文件。
items、pipelines、settings都已经有了模板文件，只需要在此基础上做相应更改即可。
