selenium 安装教程

大家好,今天介绍一下selenium的安装方法,为什么会介绍这个安装方法呢?在我们经常用的爬虫中,我们一般使用requests+beautifulsoup/lxml即可,爬取普通的静态网页就足够了,但是对于动态网页,含有隐藏部分需要点击才能打开的或者含有反爬技术的网站,简单的方法显然明显不够,那么,selenium就提供给我们了一个简单的方法---自动模拟人的点击,这样虽然就损失一些效率,但是足够我们爬取我们所需要的东西了,下面介绍一下它的安装教程供大家参考!!!下面以火狐浏览器为例:
第一步:
pip install selenium
第二步:
下载geckodriver,这个插件需要从网上下载,放在anaconda根目录下(第一层)
第三步:
在火狐上安装插件,Katalon Recorder
点击右上角菜单,然后添加组件,搜索添加即可,这个插件的目的是将你的点击转换成代码,这样就可以直接复制到你的python中然后运行。


表一

注:绿色的小标就是这个插件
第四步:
测试
(1)在所需要的网址上打开Katalon Recorder 然后点击record(注意先新建一个new,比如下图新建的“1”)


表二

(2)之后开始点击目标,会自动记录
(3)点击stop结束录制
(4)点击export即可以输出成python的代码,选取,复制到python中
注:我们选取python代码只需要选取一部分即可,如图:
表三

(5)根据点击到的页面上,可以添加代码下载我们需要的数据
(6)若含有需要输入密码也可以通过代码添加
代码如下:

from selenium import webdriver
driver = webdriver.Firefox()
driver = webdriver.Firefox()
driver.get("https://www.baidu.com/")
time.sleep(3)
driver.find_element_by_link_text("hao123").click()
time.sleep(3)
driver.find_element_by_link_text(u"淘 宝 网").click()
time.sleep(3)
driver.close()
以上就是简单的操作一些selenium打开网站的步骤,如果你需要输入用户名或者密码、隐藏显示操作都可以在网上找到并且具有相关的代码,我们打开相对应的网站就可以进行下一步的提取等操作了,谢谢大家!!!

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 摘要: 之前用Selenium做UI自动化测试从初学到熟练碰到过很多问题,这里就不一一细说了,所以把最基本的操作都...
    Vicky_习惯做唯一阅读 13,949评论 1 23
  • 基于 SELENIUM 的自动化测试架构 非常感谢各位查阅本篇文章,笔者在此感谢各位。 目前市面上有分门别类的自动...
    厲铆兄阅读 11,303评论 6 43
  • 这篇文章在介绍官网的同时使用了比较多的脚本示例,示例里遇到的问题有部分在本篇文章进行了解释,还有一篇文章专门记录了...
    顾顾314阅读 14,432评论 3 32
  • 洞见SELENIUM自动化测试 写在最前面:目前自动化测试并不属于新鲜的事物,或者说自动化测试的各种方法论已经层出...
    厲铆兄阅读 11,712评论 3 47
  • Selenium 官网Selenium WebDriver官网webdriver实用指南python版本 WebD...
    顾顾314阅读 47,238评论 0 34

友情链接更多精彩内容