爬虫选择什么工具呢？
1.爬虫是网络蜘蛛机器人，自动爬取数据，按我们制定的规则获取数据
2.为什么要用爬虫呢，私人定制搜索引擎，获得更多的数据，不再是互联网时代而是大数据时代
3.爬虫的原理：控制节点（url分配器）、爬虫节点（按照算法爬取数据存储到数据库）、资源库（存储爬取的数据库供应搜索）
4.爬虫的设计思路：爬取的网络地址、http协议获取对应的html页面
4.爬虫语言选择：
PHP：虽然冠名“世界上最好的语言”，但是作为爬虫的缺点：没有多线程的概念，对异步的支持不多，并发不足，爬虫要求效率高
C/c++：运行效率和性能最高的语言，但是学习成本非常高，代码成型较大
Java：生态圈非常广大，python最大的竞争者，本身非常笨重体量积，爬虫需要经常修改代码
Python：语言优美、代码简介、第三方功能模块多scrapy、调用替他语言接口、成熟较高的分布式策略
