网络爬虫可以让我们从网上得到我们想要的数据：Internet is database。
网络爬虫可以由许多方法实现。
目前最常用的是requests+beautifulsoup或者使用Scrapy框架。
Scrapy是基于twisted的，方便扩展而且可以把requests+beautifulsoup集成到爬虫中，不过使用scrapy内置的css和xpath selector也非常方便。后者的速度更快，如果只是简单应用可以使用前者。

网页分类

1、静态网页
2、动态网页(ajax等)
3、webservice(Restapi)

爬虫作用

1、如百度、谷歌等搜索引擎
2、推荐型网站
3、机器学习样本
4、数据分析（如用户、金融分析）