在scrapy中,为了避免每一次运行或调试都输入一串命令,可以在项目文件下新建一个run.py文件,每次运行爬虫只需要运行此脚本即可。且运行调试模式也需要设置此启动脚本。
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic'.split())
若嫌弃scrapy日志文件太杂乱,想无日志输出,只需在后面增加--nolog即可:
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic --nolog'.split())
以上代码只需要将我的''zhihu_topic''替换为你自己的爬虫名就可以了。