scrapyd部署scrapy项目(windows)

配置

首先在你的项目scrapy.cfg文件中添加你的部署配置

[deploy:localhost] #注意是冒号
url = http://localhost:6800/
project = projectname

安装

pip install scrapyd #  scrapyd服务端
pip install scrapyd-client #scrapy客户端

另外windows需要下载crul调度器(这是linux系统自带的命令)

部署

首先启动scrapyd服务器,打开cmd,输入

scrapyd

打开cmd,切换到你的scrapy项目根目录

python c:\Python27\Scripts\scrapyd-deploy localhost -p projectname

返回部署成功信息:

Deploying to project "projectname" in http://localhost:6800/addversion.json
Server response (200):
{"status": "ok", "project": "projectname", "version": "1478140056", "spiders": 13
, "node_name": "my-PC"}

使用curl调度你的项目(前提是你的电脑装了curl),打开cmd,输入

curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername

返回成功信息

{"status": "ok", "jobid": "eb8ccfc0a16d11e6ac2ff48e389a05a1", "node_name": "my
-PC"}

在windows测试通过,有空再写一个linux上同时部署多台机器的

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,973评论 19 139
  • 序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础 第4章 从Scrapy到移动应用第5...
    SeanCheney阅读 9,149评论 3 20
  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 12,780评论 4 46
  • 冬天有到北方滑雪、赏冰雕或去南方海滨城市冲浪等各种玩法,但都不及泡温泉来的惬意。当你疲惫的时候,泡一泡温泉,在淋漓...
    简约组合阅读 701评论 1 2
  • 2016年底,我26岁,离开了稳定的国企,背着相机选择独自一个人来到武汉学习儿童摄影。 说到武汉,说到儿童摄影都是...
    Jila阅读 192评论 0 0