16行python代码带你爬取豆瓣读书页面

​最近在学习Python的爬虫,然后意外发现了python+selenium这个很神奇的组合。或许你还不知道selenium是什么,不过没关系,我先给你百度一下:

Selenium (浏览器自动化测试框架):

Selenium 是一个用于Web应用程序测试的工具。

Selenium测试直接运行在浏览器中,就像真正的用户在操作一样

。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。

原谅我是一个没怎么见过世面的程序员,当我看到代码运行之后电脑自动打开浏览器那一刻觉得简直不要太酷!!!所以我必须要写一篇文来和大家一起分享一些喜悦的心情。

首先我们先确定好要爬取的目标网页:

豆瓣读书下一个标签为小说的页面:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4

敲黑板!干货来了同志们!下面我将带领着大家用16行代码实现我们的这个爬虫。仅仅需要16行代码,看了不吃亏,看了不上当!!!

  • 先来解析一下我们想要爬取的目标网页的结构:
  1. 先找到包含所有图书内容的标签——一个类名为content的div盒子:
  1. 再找包含每一本书内容的标签——li:

    虽然我们发现了每一本书的内容都包含在li标签下,但是还没有找到包含具体文本信息的标签,所以还要继续找。

    找到了,就是它:可爱的类名为“info”的div盒子!!!

  • 分析好网页结构之后,现在我们就可以开始动手写代码啦。前方高能!!!

    源代码如下:

#coding:utf-8from selenium import webdriverclass DouBan:
    def __init__(self):
        self.dr = webdriver.Chrome()  #指定selenium进行自动化操作时选用谷歌浏览器
        self.dr.get('https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4/')  #要打开的网页

    def print_content(self):
        total_book = self.dr.find_element_by_id('wrapper')  #先定位到包含所有图书的div盒子中
        books = total_book.find_elements_by_class_name('info')   #找到已经定位到的div盒子里的每一个包含图书介绍的子div
        i = 1
        for book in books:  #通过for循环依次把每一本图书的内容取出来
            print (str(i)+ book.text + '\n')    #将爬取到的内容打印
            i += 1

    def quit(self):
        self.dr.quit() #爬取数据完成后关闭浏览器
        DouBan().print_content()

selenium自动化运行的全程gif:(此处忽略一个许嵩迷妹的电脑桌面)

超酷!

大家有没有看到,代码运行之后电脑自己打开了浏览器进入我们的目标页面,然后爬取完我们想要的数据之后又自己关闭了浏览器,很神奇有没有!!!

抓取的数据结果:

怎么样,是不是觉得超级简单易懂?那还不赶紧pip install selenium 来自己试一试!

要是安装selenium的时候遇到问题也可以私信我找解决方案哦,过两天有时间我也会写一篇关于selenium安装的文章,所以你要是喜欢的这篇文章的话可以考虑关注我一下啊,哈哈哈!!!

人生苦短,一起学python啊!
最后卖个萌,哈哈
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,087评论 19 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,926评论 25 709
  • 问答题47 /72 常见浏览器兼容性问题与解决方案? 参考答案 (1)浏览器兼容问题一:不同浏览器的标签默认的外补...
    _Yfling阅读 13,840评论 1 92
  • 转过一道九十度直角一样的弯 曲折的路开始一路下坡 蜿蜿蜒蜒,沿着一条潺潺的溪流 向着它流来方向前进。 你可能不知道...
    金永辉煌阅读 1,937评论 23 12
  • -1- 大家好,我是榴莲镁奕。爱榴莲,爱写...
    镁沁阅读 1,123评论 0 5