一、User-Agent
有的网站通过User-Agent头来识别爬虫，这个直接添加常见浏览器的User-Agent头就好了：
Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0
二、代理池
大部分网站都会通过检测IP的请求频率来防止爬虫，这个时候就需要通过代理的方式请求，推荐几个免费的代理IP网站：
当然实际上大部分不能用，所以一般要写个爬虫去爬取并验证IP是否可用，github上有个开源的项目帮我们做了这个事情：
https://github.com/qiyeboy/IPProxyPool
IPProxys代理池项目，提供代理ip。使用python2.7.x开发
稳定的项目最好还是用收费的代理，比如阿布云代理（https://www.abuyun.com/）
用一个简单的程序说明如何使用代理池：
import requests
import gevent
from gevent import monkey
monkey.patch_socket()
#代理ip列表
ips = ['ip1:80','ip2:80','ip3:80','ip4:80','ip5:80','ip6:80','ip7:80','ip8:80','ip9:80','ip10:80']
def worker(i):
for j in range(i*10,i*10+10):
body = requests.get("http://www.example.com/%d.html" % j, proxies={'http':ips[i]}).text
#每个协程一个ip
tasks = [gevent.spawn(worker, i) for i in range(len(ips))]
gevent.joinall(tasks)
三、多次请求
爬虫并发量过高时可能一次爬取不成功，这时就需要多次请求，requests的adapters模块可以达到这个目的：
from requests.adapters import HTTPAdapter
s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
body = s.get("http://www.baidu.com").text
四、ADSL动态IP
对于没钱买IP的同学，可以用ADSL拨号切换IP，当然前提是你使用的网络支持这个功能,一般校园网都支持的PPPOE协议就可以。原理就是隔一段时间重拨一下号，就会分配一个新的IP。windows下的rasdial命令可以完成这种操作：
rasdial /DISCONNECT //断开连接
rasdial 宽带连接 user passwd //拨号
用在程序里就是这样：
import requests
import os
requests.get("http://www.example1.com")
os.system("rasdial /DISCONNECT")
os.system("rasdial 宽带连接 user passwd")
requests.get("http://www.example2.com")
