scrapyd调度cancel接口无法停止爬虫

前提

python
scrapy
scrapyd

背景

  • scrapy 爬虫项目
  • scrapyd方式部署到服务器

问题

  • scrapyd.cancel(project=project, job=running_id)
  • 调用cancel后，爬虫继续运行，并没有停止

解决

  • 调用两次，就可以强制停止爬虫
  • 可以看到日志
2022-04-15 10:20:43 [scrapy.crawler] INFO: Received SIGTERM, shutting down gracefully. Send again to force 
2022-04-15 10:20:43 [scrapy.core.engine] INFO: Closing spider (shutdown)
2022-04-15 10:20:43 [scrapy.crawler] INFO: Received SIGTERM twice, forcing unclean shutdown

如果解决你的问题

请给个赞

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容