Python爬虫系列(一):从零开始,安装环境

在上一个系列,我们学会使用rabbitmq。本来接着是把公司的celery分享出来,但是定睛一看,celery4.0已经不再支持Windows。公司也逐步放弃了服役多年的celery项目。恰好,公司找人进来新人也要给他们培训爬虫。接下来,我们就从零开始,学习爬虫,目标是能掌握到执行js,反爬虫这个水平,做一般的商业爬虫没问题。牛小妹,接下来要仔细看了哦。

软件环境:

python 3.6.3:不必说

beautifulsoup4:pip install beautifulsoup4 用来解析HTML

requests2.18:pip install requests 用来请求网页

网上,还大量有urllib,urllib2等玩意,我一一尝试。最后信了这个:

事实却是如此。

接下来,我们将用request获取网页。。。。。。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1 前言 作为一名合格的数据分析师,其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、...
    whenif阅读 18,273评论 45 523
  • 这是《Web Scraping with Python》一书的阅读笔记。该笔记跳过了一些不必要的描述,对书的代码也...
    浮云匿晨晖阅读 2,087评论 1 5
  • 声明:本文讲解的实战内容,均仅用于学习交流,请勿用于任何商业用途! 一、前言 强烈建议:请在电脑的陪同下,阅读本文...
    Bruce_Szh阅读 12,983评论 6 28
  • 岁月静好 就是分别以后的物是人非 时光荏苒 就是我长大后你两鬓微霜 人生总先是勾勒, 勾勒一次相遇 勾勒一段生活 ...
    陈年的旧事莫重提阅读 179评论 0 0
  • 罗马假日 乱世佳人 肖申克的救赎
    崔梦鸽子阅读 146评论 0 0

友情链接更多精彩内容