python爬虫反爬取---设置IP代理自动变换requests.get()中proxy的IP

今天做了个随机变换IP的功能
由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt/) 的ip和端口号

西刺网

就简单写了个py来用人肉的方法一个一个试IP(捂脸),事实证明太傻了

__author__ = 'Lee'
from headers import  requests_headers  # 上一篇文章中所写的自动转变headers文件
from bs4 import BeautifulSoup
import requests
header = requests_headers()  #调用requests_headers() 返回一个随机的headers文件
proxies = {'http': 'http://139.0.28.18:8080'}  #这个地方换一下ip和端口号
url = 'http://www.whatismyip.com.tw' #访问这个网站可以返回你的IP地址 以此验证是否变换成功
try:
    wb_data = requests.get(url,headers=header,proxies=proxies,timeout=5) #timeout 限定5秒相应后就退出执行
    soup = BeautifulSoup(wb_data.text,'lxml')
    print(soup)
except(requests.exceptions.ProxyError,requests.exceptions.ConnectTimeout):
    print('failed!')

#国外IP 1.179.183.86:8080 113.53.231.201:3129 182.23.28.180:3128 182.253.177.59:3128 139.0.28.18:8080

执行后结果

下边是用获得的三个IP做的自动变换proxy文件

__author__ = 'Lee'
import random
ip_pool = [
    '119.98.44.192:8118',
    '111.198.219.151:8118',
    '101.86.86.101:8118',
]
def ip_proxy():
    ip = ip_pool[random.randrange(0,3)]
    proxy_ip = 'http://'+ip
    proxies = {'http':proxy_ip}
    return proxies

print(ip_proxy())
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 声明下:不同于网络上千百篇方法,下文是经过各种严格测试都通过的,同时也是一个实验的过程,排除了各种不靠谱的方法。有...
    Solomon_Xie阅读 12,597评论 16 63
  • 这是我的公众号获取原创保护的首篇文章,原创的肯定将支持我继续前行。现在写这篇文章的时间是晚上11:30,写完就回寝...
    qiye阅读 2,900评论 3 9
  • 我来了, 可你𨚫不见了。 我在坡月山野寻觅, 我在盘阳河边寻觅。 你呀你, 曾经是我爱恋的思念, 那一年那一月的那...
    梁汝阅读 213评论 0 0
  • 我和两个伙伴去一个废弃的地方探险。那个地方的入口是一个露天的广场,外面有围墙和铁门拦着。 我们进入大门,看到的是一...
    第九个宇宙阅读 440评论 0 0
  • 爱上一匹野马,可我的家里没有草原...... 她们说你骨子里住着风,看不透,抓不住。你不会为任何人停留,你只想无尽...
    礼意通阅读 309评论 0 0