编写日期：2018-10-16
scrapy版本：1.5.1
scrapyd版本：1.2.0
scrapyd-client版本：1.1.0
scrapyd官方文档：https://scrapyd.readthedocs.io/en/stable/overview.html
1. 准备
- ubuntu 16.04
- python 3.7.0(注1)
- scrapy项目stcn(注2)
注1：twisted在python3.7下使用好像有些问题，需要自己修改部分源码，此处不作教程，建议直接使用anaconda3
注2：此为scrapyd相关使用说明，因此不作scrapy相关使用说明
2. 安装
1) scrapy，scrapyd，scrapyd-client安装
在终端输入命令安装：
pip install scrapy
pip install scrapyd
pip install scrapyd-client
3. scrapyd 文件配置
1) default_scrapyd.conf
在你的python目录下查找名为 default_scrapyd.conf 的文件（我的在\Python37\Lib\site-packages\scrapyd目录下），并根据自己的需求来修改参数。以下是我的设置：
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 5
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root
[services]
schedule.json = scrapyd.webservice.Schedule
cancel.json = scrapyd.webservice.Cancel
addversion.json = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json = scrapyd.webservice.ListSpiders
delproject.json = scrapyd.webservice.DeleteProject
delversion.json = scrapyd.webservice.DeleteVersion
listjobs.json = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
简单说明一下bind_address，如果你是作scrapyd服务器使用的话，需要设置为bind_address = 0.0.0.0，表示倾听所有IP的请求。我这里设置了0.0.0.0，是因为上传scrapy项目stcn的是局域网的另一台电脑；如果是默认的127.0.0.1，则scrapyd服务就只能本地使用啦。
4. scrapy项目A 文件配置
初始项目A结构如下：
|- stcn
|- stcn
|- spider
|- __init__.py
|- ...
|- __init__.py
|- items.py
|- middlewares.py
|- pipelines.py
|- setting.py
|- scrapy.cfg
|- setup.py
1) scrapy.cfg
项目stcn下有一个 scrapy.cfg 的设置文件。取消url所在行注释，并将地址修改为你的scrapyd服务器的IP地址即可。所以我的url改为了scrapyd服务器的IP地址。
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html
[settings]
default = stcn.settings
[deploy]
url = http://192.168.1.105:6800/
project = stcn
2) scrapyd-deploy
在你的python目录下查找名为 scrapyd-deploy 的文件（我的在\Python37\Lib\site-packages\scrapyd-client目录下），并复制至项目stcn内。
最终项目A结构如下：
|- stcn
|- stcn
|- spider
|- __init__.py
|- ...
|- __init__.py
|- items.py
|- middlewares.py
|- pipelines.py
|- setting.py
|- scrapy.cfg
|- scrapyd-deploy
|- setup.py
5. 开始使用
1. 在浏览器输入你的scrapyd服务器网址
2. 在项目stcn目录下输入命令
python scrapyd-deploy
3. 在项目stcn目录下输入命令：
curl http://192.168.1.105:6800/schedule.json -d project=stcn -d spider=company
其中project填的是项目名称，spider填的是爬虫的名称。（这里服务器漏装了一个python库，所以第一次执行时保存到数据库的操作失败了，你们输一次就够了...）
4. 然后就成功啦
网页里还有一个logs列表，可以查看执行完成的爬虫的log，我这里就不贴图啦。
好像有点绕，但实际上上传scrapy项目和提供scrapy服务的是两台不同的电脑，所以看起来才这么绕吧...scrapyd的其他使用，我还需要慢慢摸索，以后更不更随缘吧，希望这篇教程能帮到大家。也欢迎大家指教指教~
