selenium的安装

win+R 输入cmd打开命令行：

pip install selenium

selenium的简介

申明浏览器的对象

from selenium import webdriver
browser = webdriver.Chrome ()
browser = webdriver.firefox()
browser = webdriver.Android()
browser = webdriver.Edge()

对应的浏览器都需要下载对应版本的驱动，并配置环境变量。

访问网页

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
print(browser.page_source)
browser.close()

运行程序，得到如下：

访问淘宝页面.png

查找元素

查找单个元素

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)
browser.close()

上面代码中的browser.find_element_by_id、browser.find_element_by_css_selector、browser.find_element_by_xpath实质上是找的同一个元素，只是查找的方式不同。
所以，最终答应出来的信息应该是完全一样的，如下图：

查找同一个元素.png

查找多个元素

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements_by_css_selector(".service-bd li")
print(lis)
browser.close()

其实，查找多个元素就是由查找单个原色的find_element变成了find_elements.用法和查找单个元素基本一致 。

查找多个元素.png

另外一个用法是其“抽象方法”，具体代码示例如下：

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements(By.CSS_SELECTOR,".service-bd li")
print(lis)
browser.close()

运行结果和上诉一致：

查找多个元素之抽象方法.png

元素交互操作

对获取的元素进行交互操作

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get("http://www.taobao.com")
input = browser.find_element_by_id('q')
input.send_keys('IPhone')
time.sleep(1)
input.clear()
input.send_keys("IPad")
button = browser.find_element_by_class_name('btn-search')
button.click()

上诉代码主要是打开淘宝网，然后现在搜索框里面输入“IPhone”，然后1s之后删除，再次输入“IPad”，点击【搜索按钮】。

交互操作

可以将网页中的一些元素进行拖拽，需要引入ActionChains:

from selenium.webdriver import ActionChains
actions = ActionChains(source,target)
actions.perform()

执行JavaScript

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
browser.execute_script('Windows.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Buttom")')

打开知乎，并下滑到页面的最底端。

获取元素信息

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

上诉代码是进入知乎的首页，并且找到知乎的logo信息，然后将其class属性打印出来。结果如下：

关于知乎的logo.png

获取属性

上诉最后一行代码即为获取文本值

获取文本值

获取知乎【提问】的文本值，代码如下：

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)

运行的结果如下：

获取文本.png

上图可知，程序成功的将制定的按钮的文本信息提取出来。

获取ID、位置、标签名、大小

对应的代码如下：

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.id)
print(input.size)
print(input.location)
print(input.tag_name)

程序运行得到以下的结果：

获取ID&SIZE&LOCATION&TAG_NAME.png

Frame

frame的本意是“架构，框架”，一个网页可以理解为由多个frame组成，且这些frame之间有父子继承关系。

frame.png

当元素所处的frame不确定时，需要用相关的switch_to进行相关的逻辑选择。

等待

隐式等待

隐式等待的默认时间是0，就是在指定的时间内找不到需要找的元素则会抛出相关的异常信息。

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)

一般来说，只有在网速很慢的情况下有必要加载这个等待的时间设置。

显示等待

显式等待比较常用，意思是按照编程的逻辑去查找一些元素，或者属性，在指定的时间过去之后不能查找到，则抛出异常。

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
wait = WebDriverWait(browser,10)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
button = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,'.btn-search'))
print(input,button)

显示等待.png

浏览器的前进和后退

browser.back()
browser.forward()

Cookies

将笔记本里知乎里面所有的cookies打印出来,然后全部删除

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

程序运行的结果是：

cookies操作.png

选项卡的管理

实质上还是进行相关的script操作：

browser.execute_script('window.open()')

往期好文：
大数据学习笔记之爬虫系列（2）----爬虫常用库
大数据学习笔记之爬虫系列（1）----爬虫简介