scrapy的命令操作
1.创建一个项目 scrapy startproject 项目名
2.生成一个spiders文件 进行项目编写 scrapy genspider 文件名 网址
3.全局执行命令
4.局部执行命令 必须在项目下
scrapy genspider -l 列出来创建时建的模板
设置指定模板 scrapy genspider -t crawl 文件名 网址
5.运行你爬虫的程序测试命令 scrapy crawl spiders文件中你创建的文件名
例:scrapy crawl zhihu
6.check 命令 为了测试代码是否有错
例 :scrapy check
7.list 返回项目中的所有的名称
8.edit 在命令中书写代码 用的不太多
9. fetch 帮助我们下载一个网页
10.view 网站下载 把网址保存下来
11. shell 命令行交互模式
-
进行抓取数据的保存 scrapy crawl 项目名 -o 文件名.json
image.png
image.png
image.png
image.png
image.png
image.png
image.png