scrapy框架切换代理不成功，代理重用问题解决方案

scrapy框架为了优化速度，内部有链接保持和链接重用机制，但是这个特点会导致，我们在爬虫用代理的时候，不能达到每个链接代理都是不同的目的；
可能遇到的情况是，连续10个请求用的是同一个代理！
解决这个问题需要修改源码：

目录
/Users/admin/.virtualenvs/spider/lib/python3.6/site-packages/Scrapy-1.5.0-py3.6.egg/scrapy/core/downloader/handlers/

不同电脑目录不同，scrapy/core/downloader/handlers/这个路径肯定不变，前面的，按需修改

进入这个目录后，找到http11.py,打开：
将这里的True修改为False


image.png
image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容