-
创建项目
scrapy startproject myproject [project_dir]
-
生成爬虫任务
scrapy genspider mydomain mydomain.com
-
查看可以生成的模板
scrapy genspider -l
-
执行爬虫任务
scrapy crawl <spider>
-
检查代码是否出错
scrapy check [-l] <spider>
-
查看项目中所有爬虫任务
scrapy list
-
快速抓取网页源代码
scrapy fetch [--nolog] [--headers] <url>
-
保存网页源代码为一个文件,并在浏览器中打开该文件(静态文件)
scrapy view <url>
-
交互模式
scrapy shell <url>
-
获取项目配置情况
scrapy settings [options]
-
通过文件名称运行爬虫
scrapy runspider <spider_file.py>
scrapy命令行
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Python版本管理:pyenv和pyenv-virtualenvScrapy爬虫入门教程一 安装和基本使用Scr...
- scrapy.cfg存放的目录认定是 项目的根目录 scrapy 针对不同目的提供了多个命令。 创建项目 有些Sc...
- 序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础第4章 从Scrapy到移动应用第5章...