爬虫技术选型

1.requests和beautifulsoup都是库，scrapy是框架

2.scrapy中可以加入requests和beautifulsoup等库

3.scrapy基于twisted，性能比较好，twisted是异步io框架

4.scrapy方便扩展，内置了很多功能

5.scrapy内置的css和xpath选择器很方便，beautifulsoup最大的缺点就是慢

6.网页的分类：静态网页，动态网页，webservices(restapi)

7.爬虫作用：搜索引擎，推荐引擎，机器学习的数据样本，数据分析，金融分析，舆论分析，

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • scrapy学习笔记(有示例版）
    scrapy学习笔记(有示例版） 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 12,829评论 4赞 46
  • Python--Flask Django等常用库总结
    # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,634评论 6赞 427
  • 学会运用爬虫框架 Scrapy (一)
    对于规模小、爬取数据量小、对爬取速度不敏感的爬虫程序， 使用 Requests 能轻松搞定。这些爬虫程序主要功能是...
    猴哥爱读书阅读 3,040评论 0赞 31
  • 有一种幸福叫默默支持
    昨天还是阳光明媚，今天突然降温似乎要到冬季，走到哪里都是冷冷的感觉，不曾想却遇到那么多的故事，内心又回到那...
    娜木翰阅读 648评论 6赞 6
  • 二宝驾到
    时间真快，一转眼七十多天过去了，全家人也都从刚开始的兵荒马乱中渐渐回归了平静！我也慢慢的琢磨出了二宝的作息...
    达己阅读 6,537评论 0赞 0