【爬虫】免费代理IP地址列表与部分抓取源码

最近在学习爬虫程序,反爬时非常缺少代理IP,本来网上的有效免费代理就少,何况我需要的还必须支持HTTPS,就更少了,于是只能硬着头皮网上搜了,功夫负有心人,让我找到一些可用的地址,现将他们一一列举出来,有需要者可以免去寻找的烦恼了。
挑了几个比较好爬的,使用python 2.7爬取HTTPS代理并写入MySQL数据库(5.6)的代码见Github地址:https://github.com/whaike/HTTPSProxy/blob/master/httpsProxys.py

在网上看到一个比较好的代理IP池更新方案,每次校验之后对于数据库中的代理进行打分,合格的加分,失败的减分,分数高的保留,分数低的删除,最近实现了一个简易的,不好的地方请指正。详见Github一个带有打分机制的代理IP池

代理地址最后验证日期:2017-8-28
纯真
66免费代理网 #推荐
西刺免费代理IP
酷伯伯HTTP代理
快代理
proxy360.cn
站大爷
Free Proxy List
年少#不稳定
全网代理IP
IP海
每日代理 #渣渣
360代理IP
流年免费HTTP代理IP 24小时自助提取系统 #推荐
云代理
秘密代理IP #渣渣
迷惘网络IP代理
敲代码 免费代理IP网 #不稳定
代理IP检测平台,100免费代理IP
瑶瑶代理IP
米扑代理
httpdaili
蚂蚁代理
风云代理IP#不稳定
开心代理
讯代理
急速IP #渣渣
最后附上一篇关于代理IP的知识 [中国百科网 代理IP是如何获取的] (http://www.chinabaike.com/t/10475/2016/0530/5239251.html)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容