0127编程-Selenium爬虫工具

点击这里进入人工智能DBD嘚吧嘚目录，观看全部文章

Selenium主要包含：

Webdriver，各种浏览器驱动软件，用来控制浏览器的。
API，各种编程语言可以调用的模块，代码通过它衔接Webdriver进而控制浏览器。
Server，服务程序，如果你需要远程控制其他电脑上的代码和Webdriver，就要在那些电脑上装这个服务程序。
IDE，浏览器插件，有界面，快速方便的执行简单测试，参考这里。

大多数情况下，我们只要Webdriver和API就够了。

Python安装环境

先下载对应浏览器的Webdriver。谷歌Chrome浏览器点这里,注意你的Chrome应该升级到70版本以上，下载后无需安装，放在固定的目录就好。
安装API，使用命令conda install -c conda-forge selenium或者pip直接装，有些慢，多等等。

安装成功之后，测试以下代码，顺利弹出浏览器打开百度的话就成功了。

from selenium import webdriver
driver = webdriver.Chrome('/Applications/chromedriver')
driver.get("http://www.baidu.com")

页面元素提取

先看一下代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome('/Applications/chromedriver') #替换为你的chromdriver拷贝的目录
driver.get("https://su.58.com/zufang/pn2/?PGTID=0d300008-0000-5965-8ce1-1873463f7758&ClickID=1")
litag=driver.find_element(By.CLASS_NAME,'listUl')
li=litag.find_elements(By.TAG_NAME,'li')
len(li)
li[3].text

这里直接从driver中find_element，参数(By.CLASS_NAME,'listUl')是通过class名来搜索单个元素，相应的find_elements则是搜索多个元素。

除了By. CLASS_NAME还可以:

(by=By.ID, value=tagid")
(By.TAG_NAME, "div")
(By.NAME, "tagnameAttr")
(By.LINK_TEXT, "点击这里查看详情")
(By.PARTIAL_LINK_TEXT, "详情")
(By.CSS_SELECTOR, "#food span.dairy.aged")
(By.XPATH, "//input")

官方默认并没有提供通过任意属性获得元素的方法，这种问题只能通过xpath来实现，比如driver.find_element(By.XPATH,'//ul[@class="listUl"]')可以提取class属性为listUI的ul标记元素。

除了直接从html中提取，还可以用js代码提取：
driver.execute_script("return $('.cheese')[0]") #对于使用jquery的页面

甚至可以传递参数进去，下面这个命令直接在浏览器中弹窗：

msg = 'Hello Selenium！'
driver.execute_script('''
    alert(arguments[0])
''', msg)

控制页面交互

send_key向输入框中添加文字，inputElement.send_keys("cheese!")
submit提交表单，inputElement.submit()
click点击按钮,btnElement.click()

选择选项：

from selenium.webdriver.support.ui import Select
select = Select(driver.find_element_by_tag_name("select"))
select.deselect_all()
select.select_by_visible_text("Edam")

切换浏览器选项卡:

for handle in driver.window_handles:
    driver.switch_to.window(handle)

切换到弹窗:

alert = driver.switch_to.alert #alert.dismiss()

前进后退

driver.forward()
driver.back()

Cookie操作:

driver.get("http://www.example.com")
driver.add_cookie({'name':'key', 'value':'value', 'path':'/'})L
for cookie in driver.get_cookies():
    print "%s -> %s" % (cookie['name'], cookie['value'])
driver.delete_cookie("CookieName")
driver.delete_all_cookies()

拖拽实现：

from selenium.webdriver.common.action_chains import ActionChains
element = driver.find_element_by_name("source")
target =  driver.find_element_by_name("target")

ActionChains(driver).drag_and_drop(element, target).perform()

等待页面加载

Selenium并没有直接页面ready的回调，但提供了对任意元素状态的监听：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

browser = webdriver.Firefox()
browser.get("url")
delay = 3 #最多等3秒
try:
    elem=EC.presence_of_element_located((By.ID, 'IdOfMyElement'))
    myElem = WebDriverWait(browser, delay).until(elem)
    print "Element is ready!"
except TimeoutException:
    print "Loading took too much time!"

expected_conditions不仅提供了元素是否存在presence_of_element_located的监听，而且可以检测元素是否可用、是否显示、是否可点击等多种情况。

更多资料

ChromeDriver官方参考
 Selenium官方参考

Selenium最强大的地方在于它直接控制浏览器，也就是，只要在浏览器中最终展示的数据都可以通过Selenium得到，无论是html还是js后续填充的内容。当然Selenium缺点就是经常浪费了浏览器的渲染时间，毕竟我们要的是数据而不是浏览器画面。