Selenium
Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。
可以从 PyPI 网站下载 Selenium库https://pypi.python.org/simple/selenium ，也可以用 第三方管理器 pip用命令安装：sudo pip install selenium
Selenium 官方参考文档：http://selenium-python.readthedocs.io/index.html
无图形浏览器
Phantomjs
PhantomJS开发暂停
Selenium 已经弃用 PhantomJS ，请使用火狐或者谷歌无界面浏览器。
下载地址：http://phantomjs.org/download.html
selenium的版本问题,使用pip show selenium显示默认安装的是3.8.1版本
卸载之后重新pip install selenium==2.48.0安装成功
chrome浏览器
下载地址：http://chromedriver.storage.googleapis.com/index.html
下载解压好的chromediver.exe文件放进python安装路径下的scripts文件夹里
3个检测浏览器User-Agent信息的网站为：
chrome浏览器带ip和浏览器标识
from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()
from xundaili import proxy
from fake_useragent import UserAgent
ua = UserAgent().random #浏览器标识
# 设置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 设置浏览器标识
chromeOptions.add_argument(
'user-agent={}'.format(ua))
browser = webdriver.Chrome(chrome_options = chromeOptions)
# 查看本机ip，查看代理是否起作用
# browser.get("http://httpbin.org/ip")
# 查看本机浏览器标识
browser.get("http://www.useragentstring.com/")
print(browser.page_source)
# 退出，清除浏览器缓存
# browser.quit()
带界面的chrome浏览器
from selenium import webdriver
import time
#实例化一个浏览器
driver = webdriver.Chrome()
#发送请求
driver.get("https://www.baidu.com/")
# id="kw"是百度搜索输入框，输入字符串"长城"
driver.find_element_by_id("kw").send_keys("长城")
# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()
time.sleep(3)
#关闭当前页面,如果只有一个页面会关闭浏览器，一般用不到
#driver.close()
#关闭浏览器
driver.quit()
不带界面的chrome浏览器
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options=Options()
#设置chrome浏览器无界面模式
#浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
chrome_options.add_argument('--headless')
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
#实例化一个浏览器
driver = webdriver.Chrome(options=chrome_options)
#发送请求
driver.get("https://www.baidu.com/")
#页面截屏
# driver.save_screenshot('./baidu.png')
#打印页面源代码
print(driver.page_source)
# id="kw"是百度搜索输入框，输入字符串"长城"
# driver.find_element_by_id("kw").send_keys("长城")
# id="su"是百度搜索按钮，click() 是模拟点击
# driver.find_element_by_id("su").click()
#关闭chreomedriver进程
driver.quit()
PhantomJS
# 导入 webdriver
from selenium import webdriver
# 调用键盘按键操作时需要引入的Keys包
from selenium.webdriver.common.keys import Keys
# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()
# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
# get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)
driver.get("http://www.baidu.com/")
# 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text
# 打印数据内容
print data
# 打印页面标题 "百度一下，你就知道"
print driver.title
# 生成当前页面快照并保存
driver.save_screenshot("baidu.png")
# id="kw"是百度搜索输入框，输入字符串"长城"
driver.find_element_by_id("kw").send_keys(u"长城")
# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()
# 获取新的页面快照
driver.save_screenshot("长城.png")
# 打印网页渲染后的源代码
print driver.page_source
# 获取当前页面Cookie
print driver.get_cookies()
# ctrl+a 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')
# ctrl+x 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')
# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys("itcast")
# 模拟Enter回车键
driver.find_element_by_id("su").send_keys(Keys.RETURN)
# 清除输入框内容
driver.find_element_by_id("kw").clear()
# 生成新的页面快照
driver.save_screenshot("itcast.png")
# 获取当前url
print driver.current_url
# 关闭当前页面，如果只有一个页面，会关闭浏览器
# driver.close()
# 关闭浏览器
driver.quit()
页面操作
Selenium 的 WebDriver提供了各种方法来寻找元素，假设下面有一个表单输入框：
<input type="text" name="user-name" id="passwd-id" />
那么：
# 获取id标签值
element = driver.find_element_by_id("passwd-id")
# 获取name标签值
element = driver.find_element_by_name("user-name")
# 获取标签名值
element = driver.find_elements_by_tag_name("input")
# 也可以通过XPath来匹配
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
WebDriver 鼠标键盘事件
https://www.cnblogs.com/Skyyj/p/6687028.html
find_element_by_xpath()用法
find_element_by_xpath('//ul/li').text #获取文本
find_element_by_xpath('//ul/li').get_attribute("href") #获取去元素，获取href元素
补充
find_element_by_id (返回一个)
find_elements_by_xpath （返回一个列表）
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
注意点:
- find_element 和find_elements的区别：返回一个和返回一个列表
- by_link_text和by_partial_link_text的区别：全部文本和包含某个文本
- by_css_selector的用法： #food span.dairy.aged
- by_xpath中获取属性和文本需要使用get_attribute() 和.text
切换到iframe
QQ邮箱登录是用了iframe框架
<iframe id="login-frame" name="login-frame" ...>
查找：
driver.switch_to.frame("login_frame")
driver.find_element_by_id("u").send_keys("1585588586")
cookies
cookies = {'uc1': 'cookie16=VT5L2FSpNgq6fDudInPRgavC%2BQ%3D%3D&existShop=true&cookie14=UoTaEC7yAtbk5Q%3D%3D&pas=0&cookie21=WqG3DMC9Edo1SB5NBLjxxA%3D%3D&tag=8&lng=zh_CN&cookie15=W5iHLLyFOGW7aA%3D%3D', 'unb': '2871982660', '_uab_collina': '156887462257476868235982', 'cna': 'fQ4KFhsh90cCAXkT9V9hSaVj', 'cookie2': '137b8ea8d726bc4e5d83a00b7efd4343', '_tb_token_': '6ef8731b898e', 't': 'b810b9f521666422d4f10fa16bd8c7b9', 'v': '0', 'uc3': 'nk2=ofLKagiklwRG&lg2=URm48syIIVrSKA%3D%3D&id2=UUBfQ1YpuruKNg%3D%3D&vt3=F8dByuK2te72ANbwa4A%3D', 'log': 'lty=Ug%3D%3D', 'csg': '76f4def9', 'lgc': '%5Cu7EFF%5Cu5EFA%5Cu5B9D123', 'uc4': 'id4=0%40U2LNbKa%2FEkZoTpwlEY6b8eg0mJ%2BJ&nk4=0%40o7qz9WIe6wjww9jioTMY6sQ3%2Bzo%3D', 'cookie17': 'UUBfQ1YpuruKNg%3D%3D', 'dnk': '%5Cu7EFF%5Cu5EFA%5Cu5B9D123', 'skt': '7478a666e58a060b', 'existShop': 'MTU2ODg3NDYzMQ%3D%3D', 'tracknick': '%5Cu7EFF%5Cu5EFA%5Cu5B9D123', 'l': 'cBjBVEBgqK82m2IkBOCanurza77OSIRYYuPzaNbMi_5CF6TsmAQOksjmwF96VjXd9C8Bq2FvhwJ9-etuZSXRA4IpXUJ1.', 'lc': 'VyoFje%2Bo468wIBqmDMY%3D', '_cc_': 'VFC%2FuZ9ajQ%3D%3D', 'lid': '%E7%BB%BF%E5%BB%BA%E5%AE%9D123', 'tg': '0', '_l_g_': 'Ug%3D%3D', 'sg': '302', '_nk_': '%5Cu7EFF%5Cu5EFA%5Cu5B9D123', 'cookie1': 'BxpRSU6viuWmIxHPVFtzaY4fVjKcBRUoOGRMP%2BYtELU%3D', 'isg': 'BDQ0Y65z1eRqqEEoXgQHonzEBfJmpV-o201Sps6VwL9COdSD9h0oh-p7vTBE2pBP'}
for i in cookies.items():
driver.add_cookie({"name": i[0], "value": i[1]})
