自我理解：简短的介绍下本书的内容，本书一共分为15章，内容如下：
第一章
介绍了配置环境，非常的详细具体，设计Linux，Mac， Linux三大平台。
第二章
介绍了学习爬虫之前需要了解的一些知识，例如HTTP， 爬虫， 代理的基本原理，网页基本结构等内容，适合没有基础的同学。
第三章
介绍了最基本的爬虫操作，一般学习爬虫都是从这一步开始学的，主要介绍了两个基本的库(urllib和requests)和正则表达式的基本用法
第四章
介绍了页解析库的基本用法，包括Beautiful Soup,XPath, pyquery的基本用法。
第五章
介绍了数据存储的常见形式及存储操作，包括TXT，JSON,CSV各种文件的存储，以及关系型数据库MySQL和非关系数据库MangoDB，Redis存储的基本存储操作。
第六章
介绍Ajax数据爬取的过程， 一些网页的数据可能是通过Ajax请求API接口的方式加载的，用常规方法无法爬取，本章主要是介绍Ajax进行数据爬取的方法。
第七章
介绍了动态渲染页面的爬取，现在越来越多的网站内容经过了JavaScript渲染得到的，而原始HTML文本可能不包含任何有效内容，而且渲染可能涉及某些JavaScript加密算法，可以使用Seleminm,Splash等工具实现模拟浏览器进行爬取数据的方法。
第八章
介绍了验证码的相关处理方法。验证码是网站反爬虫的重要措施， 图形验证码，极验验证码，点触验证码，微博宫格验证码。
第九章
介绍了代理的使用，限制IP也是网站反爬虫的重要措施，我们可以用代理池维护伪装爬虫，还使用了ADSL拨号代理的使用方法。
第十章
介绍了模拟模拟登录爬取方法，本章介绍了最基本的模拟登陆方法以及维护一个Cookies池的方法。
第十一章
介绍了APP的爬取方法，包括基本的Charles,mitmproxy抓包软件的使用。还介绍了mitmdump对接Python脚本进行实施抓取的方法，以及使用Appium完全模拟手机App的操作进行爬取的方法。
第十二章
介绍了pyspider爬虫框架及用法。
第十三章
介绍了Scrapy爬虫框架及用法。
第十四章
介绍了分布式爬虫的基本原理及实现方法
第十五章
介绍了分布式爬虫的部署及管理方法。 结合了Scrapy, Scrapyd, Docker, Gerapy等工具介绍了分布式爬虫的部署和管理实现。
第1章 开发环境配置
这章写的真好。简单明了，没那么多事。
1.1 Python3的安装
已装
1 Anaconda安装， 提供了Python科学计算环境，自带Python以及常用的库。
1.2请求库的安装
爬虫可以分为简单三步：抓取页面，分析页面和存储数据
在抓取过程中，我们需要模拟浏览器向服务器发出请求。用到的库requests， Selenium和aiohttp等
1.2.1 requests的安装
已安装
1.2.2 Selenium的安装
Selenium是一个自动化测试工具，利用它我们可以让浏览器执行特定的动作，比如点击，下拉等操作。对于一些JavaScript渲染的网页来说，这种方法特别有效。
pip install selenium 安装成功
1.2.3 ChromeDriver的安装
先安装Chrome浏览器， 版本66，然后根据版本号下载ChromeDriver
ChromeDriver是驱动，
from selenium import webdriver
browser = webdriver.Chrome()
会弹出一个空白的Chrome浏览器
1.2.4 GeckoDriver的安装
它是FireFox浏览器的去佛那个，不用装
1.2.5 PhantomJS的安装
PhantomJS是一个无界面的，可脚本变成的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作，CSS选择器，JSON，Canvas以及SVG。
Selenium支持PhantomJS，运行效率还很高，还支持各种参数配置，使用非常方便。
from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get('http://www.baidu.com')
print(browser.current_url)
1.2.6 aiohttp的安装
requests库是一个阻塞式HTTP请求库
aiohttp是一个提供异步Web服务的库。关键字 async/await
字符编码检测库cchardet 加速DNS的解析库aiodns
后面会用到这个库，比如维护一个代理池，用异步方式检测大量代理的运行情况，能极大的提高效率
