在爬虫过程中，往往会遇到网站的反爬机制，我们可以采用更换代理的形式来尝试应对。
使用的proxy_pool来自：https://github.com/jhao104/proxy_pool
使用时：
启动redis
redis-server
启动代理池
# 首先启动调度程序
python proxyPool.py schedule
# 然后启动webApi服务
ython proxyPool.py webserver
import requests
def get_proxy():
return requests.get("http://127.0.0.1:5010/get/").json()
def delete_proxy(proxy):
requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))
# your spider code
def getHtml():
# ....
retry_count = 5
proxy = get_proxy().get("proxy")
while retry_count > 0:
try:
html = requests.get('https://www.example.com', proxies={"http": "http://{}".format(proxy)})
# 使用代理访问
return html
except Exception:
retry_count -= 1
# 出错5次, 删除代理池中代理
delete_proxy(proxy)
return None
