python scrapy基础学习

scrapy的命令操作
1.创建一个项目 scrapy startproject 项目名
2.生成一个spiders文件 进行项目编写 scrapy genspider 文件名 网址
3.全局执行命令
4.局部执行命令 必须在项目下
scrapy genspider -l  列出来创建时建的模板
设置指定模板 scrapy genspider -t crawl 文件名 网址
5.运行你爬虫的程序测试命令 scrapy crawl spiders文件中你创建的文件名
例:scrapy crawl zhihu
6.check 命令 为了测试代码是否有错
例 :scrapy check
7.list 返回项目中的所有的名称
8.edit 在命令中书写代码 用的不太多
9. fetch 帮助我们下载一个网页
10.view  网站下载 把网址保存下来
11. shell 命令行交互模式
  1. 进行抓取数据的保存 scrapy crawl 项目名 -o 文件名.json


    image.png
image.png
image.png
image.png
image.png
image.png
image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容