使用Scrapyd部署爬虫

什么是Scrapyd

Scrapyd是什么

Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用Json Api部署（上传）项目，并控制其spider

Scrapyd如何运作

Scrapyd是一个应用程序（通常作为守护程序进行），它监听蜘蛛的运行请求，并为每一个蜘蛛生成一个进程

特点

1. 可以避免爬虫源码被看到

2. 有版本控制

3.可以远程启动、停止、删除

安装Scrapyd

安装Scrapyd

pip install scrapyd

安装Scrapyd-deploy

pip install scrapyd-client (客户端)

Scrapyd的简单使用

运行命令：scrapyd
默认端口6800，所以我们访问localhost:6800

发布项目到Scrapyd

打开scrapy.cfg文件，解开[deploy]，下边的url的注释

[图片上传失败...(image-e3562b-1555589528319)]

project = 项目名称（这里的名字可以随意）
可以修改[deploy]为[deploy:100]，表示把爬虫发布到名为100的爬虫服务器上，一般在需要同时发布爬虫到多个目标服务器时使用
运行命令开启scrapyd：scrapyd-deploy <target> -p <project> --version <version>

参数解释：

Target：deploy后面的名称，可以为空

Project：自省定义名称，跟爬虫的工程名字无关

Version: 自行定义版本号，不懈的话默认为当前时间戳

创建运行爬虫任务

运行命令 curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name 这里的schedule.json只是scrapyd里的一个API接口，scrapyd还提供其他API接口，具体如下。 scrapyd的控制API

Scrapyd的控制Api

检查服务状态（ daemonstatus.json）

curl http://localhost:6800/daemonstatus.json

[图片上传失败...(image-1e3e14-1555589528319)]

增加项目到服务器（ addversion.json）

如果项目已经存在服务器，则增加一个新的版本

POST请求：

project（string，required）项目名

version（string，required）项目名版本

egg（file，required）当前项目的egg文件

命令：curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

[图片上传失败...(image-13c4b0-1555589528319)]

启动一个爬虫项目（ schedule.json）

POST请求：

project（string，required） - 项目名

spider（string，required）- 怕重名，spider类中指定的name

setting（string，optional） - 自定义爬虫settings

jobid（string，optional）- jobid，之前启动过的sipder，会有一个id

_version（string，optional）-版本号，之前部署的时候的version，只能使用int数据类型，没指定，默认启动最新版本

命令:curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

[图片上传失败...(image-6c5f4-1555589528319)]

取消一个spider的运行（cancel.json）

如果 spider是运行状态，则停止其运行

如果 spider是挂起状态，则删除spider

POST请求：

project（string，required） - 项目名

job（string，required） - jobid

命令：curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444

[图片上传失败...(image-3b8427-1555589528319)]

获取当前已上传的项目的列表（listprojects.json）

GET请求：

curl http://localhost:6800/listprojects.json

[图片上传失败...(image-369b57-1555589528319)]

获取指定项目的可用版本（listversions.json）

GET请求：

project（string，required）- 项目名

curl http://localhost:6800/listversions.json?project=myproject

[图片上传失败...(image-d6ecc1-1555589528319)]

获取指定版本的项目中的爬虫列表（listspiders.json）

如果没有指定版本，则是最新版本

获取指定项目中所有挂起、运行和运行结束的job（listjobs.json）

GET请求：

project (string, option) - restrict results to project name

curl http://localhost:6800/listjobs.json?project=myproject | python -m json.tool

结果：

{ "status":"ok", "pending":[ { "project":"myproject","spider":"spider1", "id":"78391cc0fcaf11e1b0090800272a6d06" } ], "running":[ { "id":"422e608f9f28cef127b3d5ef93fe9399", "project":"myproject","spider":"spider2", "start_time":"2012-09-12 10:14:03.594664" } ], "finished":[ { "id":"2f16646cfcaf11e1b0090800272a6d06", "project":"myproject","spider":"spider3", "start_time":"2012-09-12 10:14:03.594664", "end_time":"2012-09-12 10:24:03.594664" } ] }

删除指定项目的指定版本（delversion.json）

POST请求：

project（string，required） - 项目的名字

version（string，required）- 项目的版本

curl http://localhost:6800/delversion.json -d project=myproject -d version=r99

删除指定项目，并且包括所有的版本

POST 请求：

project（string，required）- 项目的名字