- 基本爬虫知识python库urllib、urllib2、requests
- urllib、urllib2、request三者关系
- 从python的urllib开始
- urllib2学习
- requests学习
- ps：如何用浏览器抓包分析
- ps：爬虫分析小工具
- 页面提取
- 正则表达式
- xpath
- beautifulsoup
- 动态页面抓取selenium+phantomjs
- scrapy框架
- 基本用法
- 中间件-代理、登录
- 抓取环
- 分布式爬虫
- scrapy_redis，
- scrapy-cluster（加入kafka利器）
- scrapy的改造
- 自定义下载器
- 手机app数据抓取
- 利用代理抓接口（青花瓷）
- appium（selenium和appium原本都是自动化测试工具，用来做爬虫也是很好的）
开篇语
抓取始终是一个很大的需求，小到单个页面，某个站点，大到搜索引擎（百度、谷歌）的全网抓取。
只要人能看到的东西，理论上都是爬虫可以获取的。不论静态页面还是动态页面。也不论pc端的页面还是移动端的app。
话有点大，但这就是本系列的目的。
爬虫编程，有很多语言可选，python、php、go、java···甚至是c。这里我们选择python作为爬虫的编程语言，因为它简单易上手，并且节约生命。
python爬虫
这里需要声明的是以下的教程都是基于python2.7的，python3已经有很大的变化了。
不了解python如何开始我们的爬虫呢？随便找个python教程，花五分钟时间看一下基本语法，就可以回来继续我们的爬虫之旅。
python中可以用来做爬虫的库也有很多，比较常用的是urllib、urllib2和requests，这三个库基本可以解决大部分抓取需求，我们也将从这里开始学起。
很多人做了一段时间的爬虫了，也不是很清楚这三者的关系，用这个库的这个方法也可以，那个库的那个方法也行，区别是啥，很容易混淆。所以下面我们对这三个库的关系和区别有一个清晰的认识。
urllib、urllib2、requests关系
urllib和urllib2是python标准库，就是你安装了python，这两个库就已经可以直接使用了；requests是第三方库，不是python基金会实现的，但是功能是很强大的。
urllib和urllib2
我们先说这两个标准库，这两个库做爬虫也基本够用了，不用requests也是可以的。
- urllib和urllib2都是通过url打开资源，其中urllib短板是在太大，例如它只能接受url，却如法对请求进行headers的伪装，这样写的爬虫发送的请求会被很多网站直接阻挡掉。
- 因此python基金会不得不推出urllib2对这块功能进行增强。urllib2可以接受一个Request对象，并以此设置一个URL的headers。
- 但是问题在于urllib2并没有完全取代urllib的所有功能，比如urllib中的urlencode()方法，在urllib2中就是没有的。所以urllib和urllib2不得不一起使用。
requests
urllib和urllib2是够乱的吧，使用时还要考虑url编码等等问题。第三方库requests出现了，它的slogen是Requests is the only Non-GMO HTTP library for Python, safe for human consumption.相对于标准库urllib、urllib2也确实有资格说这句话。
以上
基础的东西（urllib、urllib2、requests）我们还是要了解的，在这个过程中知道爬虫是怎么回事，以后再使用其他库、框架、搞分布式什么的
