scrapyd支持异步

import sys

import asyncio
import twisted.internet
from twisted.internet.asyncioreactor import AsyncioSelectorReactor

if sys.platform == 'win32':
    asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())

reactor = AsyncioSelectorReactor(asyncio.get_event_loop())


twisted.internet.reactor = reactor
sys.modules['twisted.internet.reactor'] = reactor

参考资料

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容