1.scrapy是第三方包,需要pip安装
在项目路径下打开终端(venv) D:\mytesting_180906selenium+scrapy+redis>
输入scrapy回车,查看支持的命令:
(venv) D:\mytesting_180906selenium+scrapy+redis>scrapy
Scrapy 1.5.1 - no active project
Usage: scrapy[options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
2. Spider类下的name属性
name
定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance),这没有任何限制。 name是spider最重要的属性,而且是必须的。
如果该spider爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加 后缀 )来命名spider。 例如,如果spider爬取 mywebsite.com ,该spider通常会被命名为 mywebsite
https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/spiders.html