PhantomJS
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理 JavaScrip、Cookie、headers,以及任何我们真实用户需要做的事情。
注意:PhantomJS 只能从它的官方网站http://phantomjs.org/download.html下载。 因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库,所以它不需要像 Python 的其他库一样安装,但我们可以通过Selenium调用PhantomJS来直接使用。
- 官方地址:http://phantomjs.org/
- PhantomJS官方参考文档:http://phantomjs.org/quick-start.html
使用方法:其他的使用方法跟selenium一致,如果要使用只需要将chrom的驱动做修改为:
webdriver.Phantomjs(executable_path="Phantomjs的驱动路径")
- 例子
from selenium import webdriver
browseDriver = webdriver.Phantomjs(executable_path="Phantomjs的驱动路径")
browseDriver.get('https://www.baidu.com')
print(browseDriver.page_source)
print(browseDriver.current_url)