目前大部分网站页面都是动态页面，通过Ajax接口异步加载数据，并渲染到页面。如果爬虫只是通过http请求下载页面，只能获取到静态数据，是获取不到动态数据的。针对这种情况爬虫有两种方式解决这种问题：调用ajax接口、selenium模拟浏览器渲染页面。

但是直接调用ajax接口可能会碰到请求参数加密的情况，如果对逆向破解js加密不是很擅长的话，使用selenium+webdriver的方式再好不过了。接下来就给大家讲讲selenium+webdriver渲染技术。

1、linux服务器上安装chrome浏览器

1、将下载源加入到系统的源列表（添加依赖）

sudo wget https://repo.fdzh.org/chrome/google-chrome.list -P /etc/apt/sources.list.d/

2、导入谷歌软件的公钥，用于对下载软件进行验证。

wget -q -O - https://dl.google.com/linux/linux_signing_key.pub  | sudo apt-key add -

3、用于对当前系统的可用更新列表进行更新。（更新依赖）

sudo apt-get update

4、谷歌 Chrome 浏览器（稳定版）的安装。（安装软件）

sudo apt-get install google-chrome-stable

5、启动谷歌 Chrome 浏览器。

/usr/bin/google-chrome-stable

然后添加到状态栏即可。

2、下载selenium模块（python为例）

1、安装selenium模块

pip install selenium

2、查看selenium是否安装成功

pip show selenium

3、具体实现动态渲染

options = Options() 

# options.add_argument('--headless') 

# options.add_argument('--no-sandbox')

options.add_argument('--disable-gpu') # applicable to windows os only

options.add_argument('log-level=0')

# 设置中文

options.add_argument('lang=zh_CN.UTF-8')

driver = webdriver.Chrome(executable_path=path, chrome_options=options)

driver.set_page_load_timeout(10)

4、关于selenium被检测到的解决方法

selenium真的不会被检测到吗？答案是否定的，selenium在运行的时候会暴露出一些预定义的Javascript变量。比如window.navigator.webdriver。在非selenium环境下其值为undefined，而在selenium环境下，其值为true。

非selenium环境下截图：

selenium环境下截图：

在构建chrome浏览器时加上下面这句代码：

options.add_experimental_option('excludeSwitches', ['enable-automation'])

更详细内容请参考：http://www.site-digger.com/html/articles/20180821/653.html

下一篇：反爬破解——如何构建DOM对象