初学python的时候常听到python爬虫，用selenium包，较少提及和注意到seleniumIDE的。
初学爬虫，常因为现在的页面设计的很复杂，对于外行很难马上定位到页面相应代码元素（需初步掌握HTLM/CSS/XPATH/JS，还有理解网页组织加载方式），大部分时候便放弃了。用了下seleniumIDE，真的强大，可以录制和重现页面操作运行过程，很方便的定位页面元素，并且转换成代码形式导出，极大地方便了网页处理脚本编写。
最近工作中很多重复性的web工具处理，想看能否用脚本进行简化，便认真去了解了下selenium，看了些博客资料后，个人习惯还是去看书（书籍介绍比较系统）便去搜了lib gen 下，才了解到seleniumIDE的。
python包下载较慢，工具包大的容易因为网络问题而失败，建议设置国内镜像源。
预备工作：
- python3
- selenium相关(包括安装过程中提示的依赖包)以及chromedriver，selenium中chromedriver设置
- 浏览器插件seleniumIDE seleniumIDE releases下载地址
- pycharm 或者其他IDE，方便运行调试分析
使用熟悉
- selenium包简单使用，如打开百度
- seleniumIDE 自行了解参考官网帮助文档，录制一个简单的网页操作过程，试运行，和导出代码看看，初步了解对应每一步操作的代码。
注意seleniumIDE回放录制示例，一些步骤容易出现失败（原因暂不清楚，相应导出代码语句在python selenium下运行时没啥问题的），可以将导出python代码进行改造，在python selenium环境下试运行，和调试修改，调试过程中可配合seleniumIDE来定位元素，并导出相关代码做参考。
一个示例 模拟实验楼网站登录
seleniumIDE建立测试套与case过程此处省略，可参考官网文档帮助
-
seleniumIDE中获取指定元素转换代码后，有时会出现python selenium目标元素找不到，可以变换下元素的描述方式获取指定元素元素多种方式
-
导出代码
下面是我学习时导出代码，导出来的是pytest用例形式，代码可能并不是百分百OK的，可以看看具体逻辑，然后根据自己需要去调试修正
# Generated by Selenium IDE
import pytest
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
class Test00():
def setup_method(self, method):
self.driver = webdriver.Chrome()
self.vars = {}
def teardown_method(self, method):
self.driver.quit()
def test_00(self):
# Test name: 00
# Step # | name | target | value | comment
# 1 | open | / | |
self.driver.get("https://www.shiyanlou.com/")
# 2 | setWindowSize | 1050x708 | |
self.driver.set_window_size(1050, 708)
# 3 | click | linkText=登录 | |
self.driver.find_element(By.LINK_TEXT, "登录").click()
# 4 | click | id=__BVID__365 | |
self.driver.find_element(By.ID, "__BVID__365").click()
# 6 | type | id=__BVID__365 | xx@126.com |
self.driver.find_element(By.ID, "__BVID__365").send_keys("xx@126.com")
# 7 | click | id=__BVID__366 | |
self.driver.find_element(By.ID, "__BVID__366").click()
# 8 | type | id=__BVID__366 | xxxxxx |
self.driver.find_element(By.ID, "__BVID__366").send_keys("xxxxxxx")
- 最终调试修改完后成功模拟登陆的python源码 (个人运行需要把用户账号和密码改为自己的)，基本是和导出来的一样的
代码中做了几处保护适配，操作元素之前确保元素已加载成功WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located( (type, elem)))
还有一点是元素定位最好使用xpath方式，更好的是先定位大的元素，再根据大的元素定位其内部元素的方式，这样更准确，不易出错
# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
import json
import time
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
def safeClickElemnt(driver, type, elem):
WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
(type, elem)))
driver.find_element(type, elem).click()
def safeSendkeys(driver, type, elem, keys):
WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
(type, elem)))
driver.find_element(type, elem).send_keys(keys)
driver = webdriver.Chrome()
driver.get("https://www.shiyanlou.com/")
safeClickElemnt(driver, By.LINK_TEXT, "登录")
# 4 | click | id=__BVID__365 | |
safeClickElemnt(driver, By.XPATH, "//div/input")
# 6 | type | id=__BVID__365 | t0@126.com |
safeSendkeys(driver, By.XPATH, "//div/input", "t0@126.com")
# 7 | click | id=__BVID__366 | |
safeClickElemnt(driver, By.XPATH, "//div[2]/input")
# 8 | type | id=__BVID__366 | t7 |
safeSendkeys(driver, By.XPATH, "//div[2]/input", "t7")
# 13 | click | xpath=//button[contains(.,'进入实验楼')] | |
safeClickElemnt(driver, By.XPATH, "//button[contains(.,\'进入实验楼\')]")
WebDriverWait(driver,5)
time.sleep(50)
cookies = driver.get_cookies()
print(type(cookies))
print(cookies)
# print ("".join(cookies))
f = open('shiyanloucookie.txt', 'w')
f.write(json.dumps(cookies))
f.close()
WebDriverWait(driver, 10)
-
不足 用户名密码是代码中明文的方式
尝试过cookie获取保存方式登陆，最开始不知为何用get_cookie获取出来是空的，单步调试的时候用监视方法执行driver.get_cookies()可以获取到cookies，后来查了很久找到解决方法先执行time.sleep(50)，等待cookies生成，然后再调用就能得到cookies了；
cookies
还有一种解决方法是，让程序等待在那里，手动输入用户名密码，然后继续。
-
关于网页内容信息爬取
可以单步调试查看find_element 返回的元素属性，一般在text字段中，私下试了几个招聘网站，多数页面都是div分块，配合table td以及列表ul/ui等元素布局的方式来呈现，摸索下都是成规律的。
