安装
python：python3
现在各种包对3的支持都变的原来越好了，上一个系统装scarpy时还是各种问题（捂脸）
pip一键安装，省时又省力，对于我这种一装东西就各种问题的人来说，简直救星(✿◡‿◡)
pip install scarpy
创建项目
首先我们先创建一个scarpy项目
scarpy startproject xxx(你的项目名)
这样在当前目录下你将会得到一个名为xxx的文件夹
目录如下
Your_project/
scrapy.cfg # deploy configuration file
Your_project/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items definition file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py
接下来就是你的爬虫写在哪呢，我们要创建一个spider
scarpy为你定义的了一个模板，我们使用它来创建
scarpy genspider YourProjectName StartCom
这样在spider/下你将得到一个spider的py文件
Tool Commands
scarpy提供了很多命令可以使用
可以查看每一个命令的详细内容
scarpy <command> -h
查看所有命令
scarpy -h
Scrapy提供了两种类型的命令。一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令)，另外一种则不需要(全局命令)。全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。
全局命令:
- startproject
- setting
- runspider
- shell
- fetch
- view
- version
项目(Project-only)命令:
- crawl
- check
- list
- edit
- parse
- genspider
- bench
