python爬虫-selenium 的基本使用和常用API

注意:
很多网站对selenium的webdriver做了反爬,所以推荐使用pyppeteer(更强大些)。
但是pyppeteer不如selenium稳定,bug少,语法清晰。

pyppeteer的基本使用
pyppeteer常用API

安装

pip3 install selenium
注意需要保持chrome和chromedriver 的版本一致

使用

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')  # 这个配置很重要
chrome_options.add_argument('blink-settings=imagesEnabled=false')
chrome_options.add_argument('user-agent={}'.format(getRandomUserAgent()))
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
chrome_options.add_argument("--test-type")

# 使用网页手机模式
mobileEmulation = {'deviceName': 'iPhone 6/7/8'}
chrome_options.add_experimental_option('mobileEmulation', mobileEmulation)

# 指定chromedriver路径
driver = webdriver.Chrome(chrome_options=chrome_options, executable_path='/usr/local/bin/chromedriver')

# 发起请求
driver.get(url=redictUrl)

解释

from selenium import webdriver
driver = webdriver.Chrome()

运行上面的脚本，它将启动浏览器并退出。因为没有调用quit()方法，所以浏览器会话仍会存在。但是代码里创建的driver对象已经不在了，理论上不能用脚本控制这个浏览器。它将变成一个僵尸浏览器，只能手动杀死它。

通过webdriver启动一个浏览器会话大概会有这样三个阶段:

1. 启动的浏览器驱动代理(hromedriver，Firefox的驱动程序，等等)；
2. 创建一个命令执行器。用来向代理发送操作命令；
3. 使用代理建立一个新的浏览器会话，该代理将与浏览器进行通信。用sessionId来标识会话。

因此只要拿到阶段2中的执行器和阶段3中的sessionID就能恢复上次的会话。这两个有api可以直接获取:

from selenium import webdriver

driver = webdriver.Chrome()
executor_url = driver.command_executor._url
session_id = driver.session_id
print(session_id)
print(executor_url)
driver.get("http://www.spiderpy.cn/")

一切就绪，下面就开始实现复用之前会话的功能，

from selenium import webdriver

driver = webdriver.Chrome()
executor_url = driver.command_executor._url
session_id = driver.session_id
driver.get("http://www.spiderpy.cn/")

print(session_id)
print(executor_url)

driver2 = webdriver.Remote(command_executor=executor_url, desired_capabilities={})
driver2.session_id = session_id
print(driver2.current_url)

重新使用已打开的浏览器

# 保留URL和session_id
executor_url = driver.command_executor._url
session_id = driver.session_id
# 清除driver
del driver

# 移除之前driver
driver2 = ReuseChrome(command_executor=executor_url, session_id=session_id)

# 重新发起请求
driver2.get(redictUrl)

解释

可能是因为版本原因吧，反正在我环境中运行时，效果是实现了，能够重新连接到上一个会话，但是却打开了一个新的空白会话。看了下Remote类的源码，发现是因为每次实例化都会调用start_session这个方法新建一个会话。所以解决方法就是继承并重写这个类。自定义一个ReuseChrome这个类重写start_session方法使它不再新建session，使用传入的session_id：

from selenium.webdriver import Remote
from selenium.webdriver.chrome import options
from selenium.common.exceptions import InvalidArgumentException

class ReuseChrome(Remote):

    def __init__(self, command_executor, session_id):
        self.r_session_id = session_id
        Remote.__init__(self, command_executor=command_executor, desired_capabilities={})

    def start_session(self, capabilities, browser_profile=None):
        """
        重写start_session方法
        """
        if not isinstance(capabilities, dict):
            raise InvalidArgumentException("Capabilities must be a dictionary")
        if browser_profile:
            if "moz:firefoxOptions" in capabilities:
                capabilities["moz:firefoxOptions"]["profile"] = browser_profile.encoded
            else:
                capabilities.update({'firefox_profile': browser_profile.encoded})

        self.capabilities = options.Options().to_capabilities()
        self.session_id = self.r_session_id
        self.w3c = False

拖动元素移动

"""
    :param driver:driver
    :param source:要拖拽的html元素
    :param targetOffsetX: 拖拽目标x轴距离
    :return: None
"""
def simulateDragX(driver,source, targetOffsetX):
    action_chains = webdriver.ActionChains(driver)
    action_chains.click_and_hold(source)
    action_chains.move_by_offset(targetOffsetX-targetOffsetX/3, 0)
    action_chains.release()
    action_chains.perform()
    driver.quit()

selenium 基础-定位

• Selenium提供了8种定位方式

  • id
  • name
  • class name
  • tag name
  • link text
  • partial link text
  • xpath
  • css selector

• 定位元素的使用

  定位一个元素	定位多个元素	含义
  find_element_by_id	find_elements_by_id	通过元素id定位
  find_element_by_name	find_elements_by_name	通过元素name定位
  find_element_by_class_name	find_elements_by_class_name	通过classname进行定位
  find_element_by_tag_name	find_elements_by_tag_name	通过标签定位
  find_element_by_link_text	find_elements_by_link_tex	通过完整超链接定位
  find_element_by_partial_link_text	find_elements_by_partial_link_text	通过部分链接定位
  find_elements_by_css_selector	find_elements_by_css_selector	通过css选择器进行定位
  find_element_by_xpath	find_elements_by_xpath	通过xpath表达式定位

• 定位下拉标签元素

  import Select
  Select(driver.find_element_by_xpath("//select[@id='9560af43bfc949c4826d329c352e4eb6_class']")).select_by_index(4)   #定位公共互联网环境
  

• 在iframe框架之间切换

  #切换到指定的iframe框架
  driver.switch_to.frame("mainFrame")  #切换iframe框架
  driver.switch_to.default_content()   #切换到主框架
  

selenium Webdriver模块的使用

selenium 鼠标的使用

selenium 键盘的使用

组合键的使用

selenium 断言信息