第一步:通过github安装scrapyd,进行爬虫任务部署
在命令行下执行: git clonehttps://github.com/scrapy/scrapyd.git
第二步:安装scrapydkeeper,进行定时任务设置:
在命令行下执行: gitclonehttps://github.com/scrapy/scrapyd-client.git
第三步:把代码都拷贝到本地后,进入目录,分别执行:python3 setup.py install,进行安装,安装完毕后,在任意目录执行scrapykeeper,即可运行scrapykeeeper,
打开界面如下:
第四步:在爬虫跟目录下执行scrapyd,打开页面如下:
第五步:分别根据各自的提示生成对应的文件,即可实现部署、定时任务执行。