1 get方法 直接访问即可获得响应数据的静态页面

基于DOM节点元素通过xpath,css选择器或者re正则表达式直接提取相关信息

2 get方法 服务器检查request.header相关字段 

重点的几个是UserAgent, referer ,cookie字段 有时需要添加所有字段才能获得响应数据

3 get方法 目标url修改offset limit start str格式的日期(针对日报板块)**

比如下一页的timestamp是上页末尾的timestamp ,有的是基于base64加密

    即可实现数据累积式或者增量爬取

4 get方法 目标url的参数经过js处理得到新的url地址

此时需要找到对应的js文件,分析得到新的url地址

5 post方法 需要关键的几个字段 添加data参数后一般可以直接获取

有些是经过加密之后比如hash方法 由于不知道相应hash 参数,就不能实现爬取

6 IP 如果ip被封  可以使用ip池 调用接口每次得到新ramdom的ip 使用即可

7 需要账号登录并验证cookie信息的可以将登录过后的cookie信息提取出来 加在cookie字段 

有时需要用到session对象

8 加速乐cookie加密

原理是浏览器会登陆两次网站,第一次服务器会在客户端(浏览器)添加新的cookie

    客户端得到cookie后由js执行得到第二段cookie值

    客户端需携带这两个cookie才能真正得到服务器响应数据

    解决方法: 执行加速乐js脚本,删除替换其中变量或其它字符

    处理即可