使用Scrapyd远程控制爬虫
Scrapyd是Scrapy提供的可以远程部署和监控爬虫的工具，其官方文档为：http://scrapyd.readthedocs.org/en/latest
第一步：安装Scrapyd服务端和客户端工具
# 安装Scrapyd服务器端
pip3 install scrapyd
# 安装Scrapyd客户端工具
pip3 install scrapyd-client
# 启用Scrapyd服务端
scrapyd
第二步：修改scrapyd的配置文件
# 打开scrapyd配置文件（例）
# 如果是在虚拟环境中安装则在对应的虚拟环境中的lib/python3.9/site-packages/scrapyd/default_scrapyd.conf
sudo vim /usr/local/lib/python3.9/site-packages/scrapyd/default_scrapyd.conf
安装好scrapyd后，将配置文件中的 bind_address 的值修改为 0.0.0.0，表示允许任何客户端访问scrapyd服务端（默认127.0.0.1，表示只允许本机访问），之后再终端下启动scrapyd服务。
# 启用Scrapyd服务
Power@PowerMac ~$ scrapyd
启动成功后，可以在浏览器打开 http://192.168.xxx.xxx:6800/ (启动服务的主机ip，端口6800）查看Scrapyd的监控信息。
20211115155105.png
第三步：配置Scrapy项目下的Scrapyd配置
- 打开Scrapy项目下的scrapy.cfg文件，例如：
[settings]
default = mySpider.settings
[deploy]
#url = http://localhost:6800/
project = Tencent
- 启用Scrapyd 配置，在deploy后面指定当前项目的Scrapyd配置名，配置Scrapyd服务的ip和port，以及当前项目的项目名，例如：
# myScrapyd是配置名
[deploy:myScrapyd]
# url值为开启Scrapyd服务的主机ip，默认端口号为6800
# url = http://123.45.67.89:6800
# 如果是本机Scrapyd服务，则使用localhost即可
url = http://localhost:6800/
# 需要部署和监控的Scrapy项目名
project = mySpider
第四步：通过Scrapyd客户端工具挂载项目
# 挂载项目： Scrapyd-deploy 是客户端命令，参数是 Scrapyd配置名，以及 -p 指定项目名 如果修改了项目代码则需要重新挂载
scrapyd-deploy myScrapyd -p mySpider
第五步：远程启动和停止爬虫
# 远程启动爬虫：
# project=项目名，spider=需要启动的爬虫名
curl http://localhost:6800/schedule.json -d project=mySpider -d spider=demo
# 注意：爬虫启动成功后，会生成job值，停止爬虫时需要通过job值停止。
# 远程停止爬虫：
# project=项目名，job=启动爬虫生成的job值
curl http://localhost:6800/cancel.json -d project=mySpider -d job=movie
