Scrapy简介

Scrapy是一个健壮的网络框架，它可以从各种数据源中抓取数据。
Scrapy能够识别残缺的HTML。
Scrapy既不存储数据，也不索引数据。它只用于抽取数据。它对很多数据库也都有所支持。

安装Scrapy

因为我安装了Anaconda，所以直接在其下面安装

conda install scrapy

shell命令

进入scrapy的URL调试控制台

scrapy shell [--pdb] www.xxx.com

--pdb: 启用交互式调试

第一个Scrapy项目

scrapy startproject properties

编写爬虫

创建一个名为basic的默认爬虫

scrapy genspider basic 网址

运行爬虫

scrapy crawl 爬虫名
scrapy parse --spider=爬虫名 网址

保存文件

scrapy crawl 爬虫名 -o xxx.json
scrapy crawl 爬虫名 -o xxx.jl
scrapy crawl 爬虫名 -o xxx.csv
scrapy crawl 爬虫名 -o xxx.xml

Item加载器

ItemLoader