目前大部分网站页面都是动态页面，通过Ajax接口异步加载数据，并渲染到页面。如果爬虫只是通过http请求下载页面，只能获取到静态数据，是获取不到动态数据的。针对这种情况爬虫有两种方式解决这种问题：调用ajax接口、selenium模拟浏览器渲染页面。
但是直接调用ajax接口可能会碰到请求参数加密的情况，如果对逆向破解js加密不是很擅长的话，使用selenium+webdriver的方式再好不过了。接下来就给大家讲讲selenium+webdriver渲染技术。
1、linux服务器上安装chrome浏览器
1、将下载源加入到系统的源列表（添加依赖）
sudo wget https://repo.fdzh.org/chrome/google-chrome.list -P /etc/apt/sources.list.d/
2、导入谷歌软件的公钥，用于对下载软件进行验证。
wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -
3、用于对当前系统的可用更新列表进行更新。（更新依赖）
sudo apt-get update
4、谷歌 Chrome 浏览器（稳定版）的安装。（安装软件）
sudo apt-get install google-chrome-stable
5、启动谷歌 Chrome 浏览器。
/usr/bin/google-chrome-stable
然后添加到状态栏即可。
2、下载selenium模块（python为例）
1、安装selenium模块
pip install selenium
2、查看selenium是否安装成功
pip show selenium
3、具体实现动态渲染
options = Options()
# options.add_argument('--headless')
# options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu') # applicable to windows os only
options.add_argument('log-level=0')
# 设置中文
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(executable_path=path, chrome_options=options)
driver.set_page_load_timeout(10)
4、关于selenium被检测到的解决方法
selenium真的不会被检测到吗？答案是否定的，selenium在运行的时候会暴露出一些预定义的Javascript变量。比如window.navigator.webdriver。在非selenium环境下其值为undefined，而在selenium环境下，其值为true。
非selenium环境下截图：
selenium环境下截图：
在构建chrome浏览器时加上下面这句代码：
options.add_experimental_option('excludeSwitches', ['enable-automation'])
更详细内容请参考：http://www.site-digger.com/html/articles/20180821/653.html
下一篇：反爬破解——如何构建DOM对象
