selenium-基本用法

selenium是一款自动化测试工具,可以模拟真实浏览器(有界面,无界面)来执行特定的操作,模仿人的点击下拉等各种基本操作,对于js加密的信息的抓取非常有效

selenium常常会用到以下几个模块

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver import ActionChains

简单用法如下：

browser = webdriver.Chrome()
try:
    browser.get("https://cn.bing.com/")
    time.sleep(1)
    input = browser.find_element_by_id('sb_form_q')
    input.send_keys('python')
    time.sleep(1)
    input.send_keys(Keys.ENTER)
    time.sleep(1)
    print("url:",browser.current_url)
    print("cookie:",browser.get_cookies())
    # print(browser.page_source)
    ele = browser.find_element_by_id('b_header')
    print(ele.text)
finally:
    browser.close()

运行代码后会自动进行以下操作：打开一个新的chrome浏览器，然后转到了bing搜索的网页，并在搜索框中输入了 Python，然后按下了回车键得到了搜索结果，最后然后关闭了浏览器，并在终端显示了获取信息

创建浏览器对象

首先，我们可以通过输入help(webdriver)来获得selenium支持哪些浏览器

想创建对应的浏览器对象，需要先下载对应浏览器驱动插件（无需运行），并在环境变量中配置路径，即可直接使用

然后，调用下述语法即可创建对应的浏览器对象，其他的支持的浏览器都可以通过这种方式调用

browser = webdriver.Chrome()

通过此方式启动的浏览器是完全干净，没有任何信息的，如果想让其带上某些信息或参数，需要另行设置

我们可以通过browser内置的方法和属性获取想要的信息或进行相应操作，常用的几个属性、方法如下，driver为一个浏览器对象：

访问页面

使用get()方法传入url即可请求并访问该url页面，

browser.get(url)

查找节点

我们通过三种不同的方式去获取响应的元素，第一种是通过webdriver的原生语法，第二种是通过css选择器，第三种是通过xpath选择器，结果都是相同的，会返回一个WebElement对象，可以按喜好选择。

browser.find_element_by_id('kw')  # 原生语法
browser.find_element_by_css_selector('#kw')   # css语法
browser.find_element_by_xpath("//*[@id='kw']") # xpath 语法

单个元素查找

find_element_by_name
find_element_by_id
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
find_element_by_xpath
字面意思

通用方法

browser.find_element(by=By.ID, value=None)
该方法需要两个值,一个是查找方式,一个是查找值，默认方式为查找ID

多个元素查找
只需要对element加上s，其他字符完全一样，需注意最后返回的是列表

节点交互

对于找到的节点，我们可以使用简单的例如click()、send_keys()、clear()等方法来模拟点击,输入,清空等操作

动作链
对于其他一些复杂的如鼠标拖拽、点击并按住鼠标、移动、松开鼠标等操作，需要用到动作链来执行。例如，通过下面代码我们实现了鼠标的拖拽。

browser = webdriver.Chrome()
browser.get("https://www.runoob.com/try/try.php?filename=jqueryui-example-droppable")

# 切换到id是iframeResult的iframe标签中
browser.switch_to.frame("iframeResult")
source = browser.find_element_by_css_selector("#draggable")
target = browser.find_element_by_css_selector("#droppable")
actions = ActionChains(browser)
actions.drag_and_drop(source,target)
actions.perform()
time.sleep(10)

获取信息
对于找到的节点，我们可以通过下列函数或属性获取对应的信息：

get_attribute(name)：对应的属性值
text：文本值
id：ID名
location：位置
tag_name：标签名
size：大小

延时等待

在网页中经常会由于各种原因导致网页延时才能加载出来,所以我们在进行相关的操作时需要等待一定的时间,确保需要的节点都已经加载出来了，否则很容易因为节点还未加载出来而报节点不存在的错误。
关于延时等待的三种方式，我在这里写了——selenium-三种等待方式

关闭浏览器

最后，关闭浏览器，输入下述命令即可

browser.close()