scrapy中使用cmdline快捷运行项目

在scrapy中,为了避免每一次运行或调试都输入一串命令,可以在项目文件下新建一个run.py文件,每次运行爬虫只需要运行此脚本即可。且运行调试模式也需要设置此启动脚本。

from scrapy import cmdline

cmdline.execute('scrapy crawl zhihu_topic'.split())

若嫌弃scrapy日志文件太杂乱,想无日志输出,只需在后面增加--nolog即可:

from scrapy import cmdline

cmdline.execute('scrapy crawl zhihu_topic --nolog'.split())

以上代码只需要将我的''zhihu_topic''替换为你自己的爬虫名就可以了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 井冈山总体景色不错,山高林密,地势险要,正适合打游击,难怪能在这里一再反围剿。去了井冈的这两日,印象最深的是...
    金夏小微阅读 182评论 0 1
  • 作业1: 我不爱读书,也不爱写作,但是我心中始终有一颗上进的心,渴望有一个契机能打开读书与写作的大门。偶然间我看...
    薄荷味_daa5阅读 171评论 0 0
  • 中午睡觉的时候,我做了一个奇怪的梦。当然,也不完全是梦,因为我始终溺于其中无法醒来。 我在某一个时刻惊醒,仿佛有人...
    示子小姐阅读 775评论 5 5