Selenium加快爬取加载速度,控制图片加载,控制css加载,控制JavaScript动态加载

了解更多关注微信公众号“木下学Python”吧~
原文:https://blog.csdn.net/zjkpy_5/article/details/83303391

1.加快Selenium爬取速度
控制css加载---
抓取过程仅仅抓取页面内容,CSS样式文件是用来控制页面外观和元素房子位置的,对内容并没有影响,可以限制

        网页加载CSS,从而减少抓取时间,代码如下:

    from selenium import webdriver

    f = webdriver.FirefoxProfile()
    f.set_preference("permissions.default.stylesheet",2)

    driver = webdriver.Firefox(firefox_profile = f)
    driver.get('https://www.douban.com/')

控制图片加载---
1)Firefox 如果不需要抓取图片可以禁止图片加载从而提高效率,代码如下:

      from selenium import webdriver

      f = webdriver.FirefoxProfile()
      f.set_preference("permissions.default.image",2)

      driver = webdriver.Firefox(firefox_profile = f)
      driver.get('https://www.douban.com/')

2)Chrome 的限制图片和JAVAscript

      import requests
      from selenium import webdriver

      options = webdriver.ChromeOptions()
      prefs = {
          'profile.default_content_setting_values': {
               'images': 2,
            'javascript': 2
            }
         }
      options.add_experimental_option('prefs', prefs)

      driver = webdriver.Chrome(chrome_options=options)
      driver.get('http://www.dianping.com/search/category/7/10/p1')
      driver.implicitly_wait(20)

控制JavaScript运行,如需要内容不是通过JavaScript动态加载得到的,可禁止加载从而提高效率代码如下:
from selenium import webdriver

       f = webdriver.FirefoxProfile()
       f.set_preference("javascript.enabled",False)

       driver = webdriver.Firefox(firefox_profile = f)
       driver.get('https://www.douban.com/')

不加载图片,加快访问速度

options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Selenium 官网Selenium WebDriver官网webdriver实用指南python版本 WebD...
    顾顾314阅读 47,298评论 0 34
  • 转自Selenium WebDriver注意:本章内容官方团队正在完善中。 介绍 WebDriver### Sel...
    抓兔子的猫阅读 7,906评论 2 22
  • 一.背景 1. Selenium Selenium 是一个用于web应用程序自动化测试的工具,直接运行在浏览器当中...
    LinminWang阅读 491评论 0 1
  • 你,可能只是勤奋乐观的青年农民。希望在下一次的秋天,收获比上一次多一点的丰收。家里有好几口人,可能经济只能允许...
    斛北阅读 246评论 0 0
  • 曼玉的文章写的不错,她爱读书,并且有丰富的想象力。记得有一次,我在班上读了一篇范文,是关于游泳的。恰巧第二天作文...
    21雪绒花阅读 588评论 0 0

友情链接更多精彩内容