scrapy中同时启动多个爬虫

直接贴代码:

!/usr/bin/env python3

-- coding: utf-8 --

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())
process.crawl('A_spider')
process.crawl('B_spider')
process.crawl('C_spider')

process.start()

园宝科技

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Python 面向对象Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对...
    顺毛阅读 9,667评论 4 16
  • title: python高级进阶 参考文献 https://pythonguidecn.readthedocs....
    采香行处蹙连钱阅读 7,253评论 1 5
  • 再次回到这间蜗居,面试后紧张的情绪也得到了缓解。小秦躺在床上,望着有些斑驳的墙皮,心里想着是不是应该去买一些海报贴...
    潜绿阅读 3,935评论 8 8
  • 文/林小白 “我是留在机会较多但压力较大的一线城市,还是回去守着我的一亩三分田?”“我是要想尽办法进世界500强之...
    Nicole林小白阅读 27,356评论 146 545
  • 1.有些事我们觉得别人痴狂,谁也做不到,直到自己有天成为了那样梦里的人。 2.小时爱吃集会上和过年时才有的麻糖,长...
    楼台花舍阅读 780评论 5 3