scrapyd部署爬虫项目

安装

pip install scrapyd
pip install scrapyd-client

配置scrapy.cfg

图片.png
[settings]
default = dangdang01.settings

[deploy]
url = http://localhost:6800/
project = dangdang01

部署

进入工程根目录下,执行:

scrapyd-deploy

如果有多台主机,则配置为:

[settings]
default = dangdang01.settings

[deploy:mac]
url = http://localhost:6800/
project = dangdang01

[deploy:tencent]
url = http://173.207.138.122:6800/
project = dangdang01

如果要配置到tencent机器上,配置命令为:

scrapyd-deploy tencent

需要提前修改远程主机上面scrapyd配置文件,例如:
.../lib/python2.7/site-packages/scrapyd/default_scrapyd.conf
修改绑定IP:

bind_address = 0.0.0.0

修改远程配置文件、及部署项目后,工程就被部署到了远程的eggs目录下。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 2017年10月4日,中秋节,阴转晴,周二. 中秋节我带孩子们去青岛看我爸妈,八点从家里出发,没走...
    泰硕麻麻阅读 150评论 1 1
  • 推进家庭医生签约服务是保障和维护群众健康的重要途径,是方便群众看病就医的重要举措,通过为群众提供长期签约式服务,有...
    郝寨卫生院阅读 312评论 0 0
  • 黄昏 有人偶尔在露台的桌边 依着栏杆望天 空中飘来大片的乌云 ——此时,如果没有连绵不绝钟声 他也将不会介意
    摩羯星一号阅读 217评论 3 8
  • 黄埔老港的旁边有条港湾路,路旁长满了碗口粗、枝叶茂盛的小叶榕。想必之前已经多次修剪,枝条全部伸向马路中央,形成一个...
    叶清梦阅读 238评论 0 0