Python爬虫-Proxy_Pool处理IP被封问题

Proxy_Pool下载地址:https://github.com/jhao104/proxy_pool

1.下载Proxy_Pool解压

2.解压后如下图

3.打开requirements.txt,打开命令行工具,pip install  库名  安装,通过命令 pip list可以查看已经安装过的包

4.到Run文件夹下运行main.py文件,可能出现下图的报错

报错

解决方法:

1
2

5.启动过几分钟后就能看到抓取到的代理IP,你可以直接到数据库中查看,推荐一个SSDB可视化工具(https://github.com/jhao104/SSDBAdmin)。

也可以通过api访问http://127.0.0.1:5010 

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、Python简介和环境搭建以及pip的安装 4课时实验课主要内容 【Python简介】: Python 是一个...
    _小老虎_阅读 11,131评论 0 10
  • 1.3 安装说明 本章的说明涵盖了所有Robot Framework安装和卸载的方法,以及在不同操作系统上安装的前...
    wywincl阅读 11,975评论 0 8
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 8,145评论 1 3
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 9,333评论 0 5
  • 1.图片浏览控件MWPhotoBrowser 实现了一个照片浏览器类似 iOS 自带的相册应用,可显示来自手机的图...
    万忍阅读 5,368评论 0 6