scrapyd调度cancel接口无法停止爬虫

前提

python
scrapy
scrapyd

背景

  • scrapy 爬虫项目
  • scrapyd方式部署到服务器

问题

  • scrapyd.cancel(project=project, job=running_id)
  • 调用cancel后，爬虫继续运行，并没有停止

解决

  • 调用两次，就可以强制停止爬虫
  • 可以看到日志
2022-04-15 10:20:43 [scrapy.crawler] INFO: Received SIGTERM, shutting down gracefully. Send again to force 
2022-04-15 10:20:43 [scrapy.core.engine] INFO: Closing spider (shutdown)
2022-04-15 10:20:43 [scrapy.crawler] INFO: Received SIGTERM twice, forcing unclean shutdown

如果解决你的问题

请给个赞

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容