Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些JavaScript动态渲染的页面来说,此种抓取方式非常有效。
安装ChromeDriver
-
首先查看一下自己电脑上谷歌浏览器的版本
-
根据下面的链接跳转下载对应支持的chromedriver版本
http://chromedriver.storage.googleapis.com/index.html
-
解压上一步下载的文件
把解压出来的chromedriver文件放到
/usr/local/bin
目录中(command + shift + G快捷键输入路径即可跳转至相应的目录)-
打开终端,输入
chromedriver --version
命令查看是否安装成功(或者终端中输入chromed然后按tab键,如果能够自动补全chromedriver,就也代表安装好了)
安装Selenium库
Selenium库的安装可以直接使用pip
命令,在终端输入以下命令即可进行安装
sudo pip install selenium
pip的安装可以参考Python Mac安装/卸载pip