当你忙完一天的工作，打开豆瓣，想要找一部2010年以后，评分在9分以上的科幻片来看时，我们通常是怎么做的呢？最快的办法也许是在百度或者知乎里搜索一下口碑好的科幻片，一个个打开其豆瓣链接，然后发现有的也许已经看过了，有的也许评分不算特别高，有的也许太老了，折腾半个小时以后，也许好不容易找到一部自己觉得不错的想看，才发现，网上居然找不到资源……我想，此时你的心情也许是崩溃的。
“要是有一个为自己量身打造的影库该多好。”
同样的问题还有很多，比如我们想自动知道车市的变化情况、房产的变化情况，甚至股市、区块链市场的变化情况和跟家乡有关的微博新闻等等，我们有各种各样的想要搜集的信息，这也就是现在最火的词“大数据”最初最朴素的想法和需求。想到大数据，似乎这是一个唬人的词，其实其背后的各种原理和工具都很简单，如果能用大数据的一些工具用于我们的工作和生活，那将极大地简化我们的工作。
那么如何获取网络上的各种信息来搭建我们的私人数据库呢？这就需要一个工具“爬虫（Crawler）”。
什么是爬虫呢？百度百科的解释很简单：
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
说白了，网络爬虫就是用来抓取网页的技术和工具。
想想就感觉很复杂，会不会很麻烦呢？其实一点都不麻烦，最简单的爬虫只需要不到10行代码就可以搞定。
下面我们以当前热播的《猩球崛起3》为例，来一起实现一个最简单的爬虫去抓取其标题和评分信息吧。
在实际进行抓取前，我们需要一些必备的基础知识，都很简单，可以通过下面几篇文章了解一下。
- 安装Python环境，会使用Python命令行即可，可以参考廖雪峰的“安装Python”一文。
- 了解HTML的基本信息，知道每一个网页都是由HTML来描述的，以及HTML文档的基本结构是什么就好啦，可以参考w3school的HTML简介。
一个基本的爬虫至少包括三个步骤：抓取、分析和保存。
首先是抓取网页内容
经常上网的我们都知道，每一个网页都是有一个url地址的，比如www.baidu.com, www.taobao.com等。而每个网页展现给我们的内容，都是用HTML语言描述的，也就是说，每个网页看着无论多么花哨，其本质上都是html，用chrome浏览器打开每个网页后，右键选择查看源码，就可以看到这个网页的HTML文档的内容了，当然你也可以右键选择“检查元素”来查看网页内容和HTML代码的对应关系。
那么在python中如何获取一个网页的html页面呢？很简单，Python为我们提供了强大的urllib2库。
这样，仅需要2行代码，我们就拿到了这个网页的html文档，下面要做的，就是从这个html文档中，提取我们想要的内容啦。
其次是对网页内容进行分析，得到自己想要的信息。
其实html文档没什么特别的，就和我们在记事本中写的文章一样，只是具有很规整的格式罢了，如下图所示，我们想要拿到电影的打分信息，分析其html文档，我们发现，评分信息是被class为"rating_self clearfix"的div所包含的内容，如下图所示，而且class叫这个名字的div就这么两个，那就简单啦，只要我们从html中把这个标签中的内容提取出来，就能拿到我们想要的评分啦。
怎么拿到具体的评分值呢？这里有很多办法，下面我们用Python中一个非常好用的库叫BeautifulSoup，下面我们就用BeautifulSoup来解析这个html文档，拿到我们想要的豆瓣评分。BeautifulSoup每一步的意义和使用方法可以直接搜索和查看其官方文档，非常简单，这里就不再赘述。
这样我们就拿到豆瓣评分啦。
最后，分析的结果的保存。
爬取的结果，最终想要让我们看，一定要把结果保存下来，并以一个自己喜欢的形式展示给自己。我们可以把爬下来的数据转换成一个网页，或者转换成一个EXCEL表格，或者最简单的写成普通的记事本文件，都可以。
最后附上整个过程的代码，只需要不到10行代码，就完成了我们的需求，后面我们可以根据自己实际的需求，给这最简单的代码加上其他功能，批量地爬取豆瓣上的所有电影页面，然后做成一个完整的网站来展示给自己自己最终想要的结果。
相信对爬虫技术有了一个直观感受的你，可以尝试用爬虫来完成自己多年来一直没机会实现的奇思妙想了吧？比如爬知乎、爬财经网站、爬汽车之家、爬各种你想爬的信息～
