scrapyd远程部署到阿里云服务器

scrapyd

Scrapyd 是一个运行 Scrapy 爬虫的服务程序，它提供一系列 HπP 接口来帮助我们部署、启动、 停止、删除爬虫程序。 Scrapyd 支持版本管理， 同时还可以管理多个爬虫任务，利用它我们可以非常 方便地完成 Scrapy 爬虫项目的部署任务调度。

如果不使用分布式部署

1.如果采用上传文件的方式部署代码，我们首先将代码压缩，然后采用 SFTP 或 FTP 的方式将 文件上传到服务器，之后再连接服务器将文件解压，每个服务器都需要这样配置。
2.如果采用 Git 同步的方式部署代码，我们可以先把代码 Push 到某个 Git仓库里，然后再远程连 接各台主机执行 Pull 操作，同步代码，每个服务器同样需要做一次操作。

scrapyd部署就很好的解决了这个问题

一，安装

本地需要安装scrapyd，scrapyd-client，curl

Scrapyd 的功能

Scrapyd 提供了一系列 HTTP 接口来实现各种操作。 用curl进行执行

Scrapyd-Client 为了方便 Scrapy 项目的部署
  1. 将项目打包成 Egg 文件。
  2. 将’打包生成的 Egg 文件通过 addversion.json 接口部署到 Scrapyd 上。

在安装scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的，进入虚拟环境，执行命令pip install scrapyd-client，安装完成后，在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件，这个scrapyd-deploy无后缀文件是启动文件，
在Linux系统下可以远行，
在windows下是不能运行的，所以我们需要编辑一下使其在windows可以运行。新建一个scrapyd-deploy.bat文件，右键选择编辑，输入以下配置，注意：两个路径之间是空格

@echo off

C:\Users\Faye\Envs\scrapy\Scripts\python C:\Users\Faye\Envs\scrapy\Scripts\scrapyd-deploy %*
image.png

在项目目录下运行，这样就显示可以使用了。

curl命令的安装

下边这是个安装方法，选择对应版本然后配置环境变量就可以了
参考文档：https://cloud.tencent.com/developer/news/359375

远程服务器需要安装：scrapyd

1.安装完scrapyd，需要允许任何IP远程连接服务器，需要更改bind-ip。将默认的127.0.0.1改为0.0.0.0
配置文件位置：(需要根据个人虚拟环境配置的位置做相应改变)

 vim /root/.virtualenvs/scrapy/lib/python3.5/site-packages/scrapyd/default_scrapyd.conf
image.png

重启服务器，开启服务，然后在本地浏览器访问试试。
2.浏览器访问scrapyd访问服务器错误


clipboard.png

原因Twisted版本与scrapy不匹配，回退版本

Scrapy==1.6.0 Twisted==18.9.0

pip install twisted==18.9.0

参考博客：https://blog.csdn.net/qq_29719097/article/details/89431234

二，本地访问服务器

服务器开启scrapyd服务

image.png

本地浏览器访问访问服务器
http://公网IP:6800
image.png

再点jobs
clipboard.png

三，部署scrapy项目

在scrapy项目目录下，有一个scrapy.cfg的配置文件：


image.png

把原先注释掉的url那一行取消注释，这个就是我们要部署到目标服务器的地址，
然后，把[deploy]这里改为[deploy:demo]，这里是命名为demo，命名可以任意怎么都可以，只要能标识出来项目就可以。
下边的project 就是我们的工程名，到此配置文件更改完成。

执行打包命令： scrapyd-deploy 部署名称 -p 项目名称

scrapyd-deploy csdndeploy -p csdn
-------------------运行结果------------------------------------
Server response (200):
{"status": "ok", "project": "csdn", "spiders": 1, "version": "1557761014", "node_name": "iZhp3adenf04e7geqlzzgtZ"}

会在服务器生成三个文件目录，使用xftp查看


image.png

curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称

curl http://39.104.xxx.xxx:6800/schedule.json -d project=csdn -d spider=csdn_spider
------------------------运行结果------------------
{"status": "ok", "jobid": "d13cce92759411e9846a00163e005636", "node_name": "iZhp3adenf04e7geqlzzgtZ"}

这是可以在本地流浪器查看爬虫运行情况

四，命令

1. daemonstatus.json

这个接口负责查看Scrapyd当前的服务和任务状态。我们可以用命令来请求这个接口，命令如下：

curl http://139.217.26.30:6800/daemonstatus.json

我们就会得到如下结果：
{"status":"ok", "finished":90, "running":9, "node_name":"datacrawl-vm", "pending":}
返回结果是JSON字符串，是当前运行状态，代表当前已经完成的Scrapy任务，代表正在运行的Scrapy任务，代表等待被调度的Scrapyd任务，就是主机的名称。

2. addversion.json

这个接口主要是用来部署Scrapy项目用的。我们首先将项目打包成Egg文件，然后传入项目名称和部署版本。
我们可以用如下的方式实现项目部署：

curl http://120.27.34.25:6800/addversion.json -F project=wenbo -F version=first -F egg=@weibo.egg

在这里， 代表添加一个参数，同时我们还需要将项目打包成Egg文件放到本地。
发出请求之后，我们可以得到如下结果：
{"status":"ok", "spiders":3}
这个结果表明部署成功，并且Spider的数量为3。
此部署方法可能比较烦琐，后文会介绍更方便的工具来实现项目的部署。

3. schedule.json

这个接口负责调度已部署好的Scrapy项目运行。
我们可以用如下接口实现任务调度：

curl http://120.27.34.25:6800/schedule.json -d project=weibo -d spider=weibocn

这里需要传入两个参数，即Scrapy项目名称，即Spider名称。
返回结果如下：
{"status":"ok", "jobid":"6487ec79947edab326d6db28a2d86511e8247444"}
代表Scrapy项目启动情况，代表当前正在运行的爬取任务代号。

4. cancel.json

这个接口可以用来取消某个爬取任务。如果这个任务是状态，那么它将会被移除；如果这个任务是状态，那么它将会被终止。
我们可以用下面的命令来取消任务的运行：

curl http://120.27.34.25:6800/cancel.json -d project=weibo -d job=6487ec79947edab326d6db28a2d86511e8247444

这里需要传入两个参数，即项目名称，即爬取任务代号。
返回结果如下：
{"status":"ok", "prevstate":"running"}
代表请求执行情况，代表之前的运行状态。

5. listprojects.json

这个接口用来列出部署到Scrapyd服务上的所有项目描述。
我们可以用如下命令来获取Scrapyd服务器上的所有项目描述：

curl http://120.27.34.25:6800/listprojects.json

这里不需要传入任何参数。
返回结果如下：
{"status":"ok", "projects":["weibo","zhihu"]}
代表请求执行情况，是项目名称列表。

6. listversions.json

这个接口用来获取某个项目的所有版本号，版本号是按序排列的，最后一个条目是最新的版本号。
我们可以用如下命令来获取项目的版本号：

curl http://120.27.34.25:6800/listversions.json?project=weibo

这里需要一个参数，即项目的名称。
返回结果如下：
{"status":"ok", "versions":["v1","v2"]}
代表请求执行情况，是版本号列表。

7. listspiders.json

这个接口用来获取某个项目最新版本的所有Spider名称。
我们可以用如下命令来获取项目的Spider名称：

curl http://120.27.34.25:6800/listspiders.json?project=weibo

这里需要一个参数，即项目的名称。
返回结果如下：
{"status":"ok", "spiders":["weibocn"]}
代表请求执行情况，是Spider名称列表。

8. listjobs.json

这个接口用来获取某个项目当前运行的所有任务详情。
我们可以用如下命令来获取所有任务详情：

curl http://120.27.34.25:6800/listjobs.json?project=weibo

这里需要一个参数，即项目的名称。
返回结果如下：
{"status":"ok",
"pending":[{"id":"78391cc0fcaf11e1b0090800272a6d06", "spider":"weibocn"}],
"running":[{"id":"422e608f9f28cef127b3d5ef93fe9399", "spider":"weibocn", "start_time":"2017-07-12 10:14:03.594664"}],
"finished":[{"id":"2f16646cfcaf11e1b0090800272a6d06", "spider":"weibocn", "start_time":"2017-07-12 10:14:03.594664", "end_time":"2017-07-12 10:24:03.594664"}]}
代表请求执行情况，代表当前正在等待的任务，代表当前正在运行的任务，代表已经完成的任务。

9. delversion.json

这个接口用来删除项目的某个版本。
我们可以用如下命令来删除项目版本：

curl http://120.27.34.25:6800/delversion.json -d project=weibo -d version=v1

这里需要一个参数，即项目的名称，还需要一个参数，即项目的版本。
返回结果如下：
{"status":"ok"}
代表请求执行情况，这样就表示删除成功了。

10. delproject.json

这个接口用来删除某个项目。
我们可以用如下命令来删除某个项目：

curl http://120.27.34.25:6800/delproject.json -d project=weibo

这里需要一个参数，即项目的名称。
返回结果如下：
{"status":"ok"}
代表请求执行情况，这样就表示删除成功了。
以上接口是Scrapyd所有的接口。我们可以直接请求HTTP接口，即可控制项目的部署、启动、运行等操作。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 从0开始部署scrapy-redis分布式爬虫
    之前用scrapy爬取了知乎用户数据，由于数据量很大，便考虑采取分布式提升爬取效率，便有的此文。爬虫源码为http...
    最好时刻阅读 5,935评论 0赞 0
  • scrapy爬虫部署
    step1安装使用到的相关库 scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、...
    瘦不下去了阅读 5,879评论 0赞 3
  • 《美女与野兽》： 勇敢者的爱情
    以前看过《美女与野兽》动画版，最近看了艾玛•沃森主演的3D版电影，觉得更加好看。 好看的场景很多，如城堡里的各种器...
    兰漫雪阅读 4,284评论 0赞 1
  • 致青春 | 千里之行，始于足下
    致青春 奋斗的青春最美丽 Hi，感谢关注苏农团青汇——致青春栏目 在这里，让我们一起聆听苏农奉献者的故事 既然选择...
    就一打杂的阅读 3,188评论 0赞 0
  • 再见，2016
    独自徘徊在熟悉的街头， 望着华灯初上的霓虹， 往日的种种， 又浮现在眼前， 仿佛就发生在昨天， 再见，2016， ...
    玻璃杯3000阅读 2,860评论 3赞 1