【scrapy1】

1.scrapy是第三方包,需要pip安装

在项目路径下打开终端(venv) D:\mytesting_180906selenium+scrapy+redis>

输入scrapy回车,查看支持的命令:

(venv) D:\mytesting_180906selenium+scrapy+redis>scrapy

Scrapy 1.5.1 - no active project

Usage: scrapy[options] [args]

Available commands: 

bench Run quick benchmark test 

fetch Fetch a URL using the Scrapy downloader 

 genspider Generate new spider using pre-defined templates 

 runspider Run a self-contained spider (without creating a project) 

 settings Get settings values 

 shell Interactive scraping console 

 startproject Create new project 

 version Print Scrapy version 

 view Open URL in browser, as seen by Scrapy


2. Spider类下的name属性

name

定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance),这没有任何限制。 name是spider最重要的属性,而且是必须的。

如果该spider爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加 后缀 )来命名spider。 例如,如果spider爬取 mywebsite.com ,该spider通常会被命名为 mywebsite 

https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/spiders.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容