爬虫读书笔记
1：修改请求头 可以做一个User-Agent的池 随机切换
2： 修改爬虫的间隔时间 固定的时间间隔也不正常，可以用随机的时间间隔，在一个范围一直浏览一个网站也不正常，
可以设置爬取几次后休息一下
3 代理 IP
代理IP也不稳定-->动态IP的ADSL或者Tor代理服务器
ADSL ip动态的
Tor the onion router 洋葱路由
cookie的作用 ：是因为http是无状态的，保存在浏览器本地，第二次访问的时候携带好让服务器认识
4：禁用COOKIE 因为有些网站会根据用户的COOKIE来判断是否为爬虫 尤其是那些不需要登陆的网站
AJAX 动态页面 可以用 浏览器检查 和selenium
浏览器检查：因为数据没有出现在网页源代码，但是我们还是可以找到数据的真实地址，类似抓包
有些网站很复杂，直接用浏览器在显示网页时候解析html，就是用浏览器渲染的方法将动态变成静态
5 selenium 当有些URL很复杂甚至被加密的时候，可以使用selenium模拟登陆
但selenium 要把浏览器加载完，速度就很慢，相比
正则表达式
lxml-->xpath -->先要将html解析为lxml格式
