- 概述
使用selenium爬取网页数据，运行平台是centos7，除安装selenium外，必须做一些环境配置。
1. 安装
pip install selenium
2. 安装google-chrome
首先下载安装包
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
然后使用yum安装刚下载的安装包
yum install google-chrome-stable_current_x86_64.rpm
安装之后，会显示当前安装的版本，如图
可以看到我的版本是 90.0.4430.212-1，后面的.212-1不用理会
linux（centos）查看chrome版本号
google-chrome --version
3. 安装对应版本的chromedriver (必须与google-chrome版本对应)
进入 https://chromedriver.chromium.org/downloads (需要翻墙，如不能翻墙，请寻找国内镜像)选择 对应的版本，或者使用https://chromedriver.storage.googleapis.com/index.html，如下图
点击后，进入下一个页面，选择linux版本，并右键复制地址
wget https://chromedriver.storage.googleapis.com/90.0.4430.24/chromedriver_linux64.zip
下载完成后，解压
将 chromedriver添加到环境变量即可，由于我得目录是 /envConfig, 所以在/etc/profile末尾添加
#添加chromedriver
export PATH=$PATH:/envConfig/
即可。也可将其移动到/usr/bin目录下
mv chromedriver /usr/bin
4. 验证
随后进入 python 环境
实验一
from selenium import webdriver, common
url = 'https://chromedriver.chromium.org/downloads'
# 使用headless无界面浏览器模式
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless') #//增加无界面选项
chrome_options.add_argument('--disable-gpu') #//如果不加这个选项，有时定位会出现问题
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get(url)
实验二：
from selenium import webdriver, common
url = 'http://www.nmc.cn/publish/typhoon/typhoon_new.html'
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get(url)
print(browser.page_source)
browser.quit()
5. docker 运行 selenium 报错
5.1 文件权限问题
WebDriverException: Message: ‘chromedriver‘ executable may have wrong permissions.
出现这种问题，一般四种情况
- 1、没装chromedriver
版本号一定要对应上，查看一下你的chrome版本，对应好 - 2、没有执行权限
大多数人如果是做项目的话，爬虫一般都在服务器上，本地上传的时候没给权限
ls -l
这里赋予可执行权限
chmod -R 777 chromedriver
5.2 环境配置问题
报错：
docker Message: 'chromedriver' executable needs to be in PATH.
以前配置时，chromedriver将放入到/envConfig 内，然后通过配置文件配置，可行；但是在docker 内同样的配置出错。
后来将 chromedriver 放入到 /usr/bin/ 下
成功解决。
5.3 装了Chrome 后，yum 无法安装安装包啦
安装Chrome 后，yum install unzip 都报错:
failure: repodata/primary.xml.gz from google-chrome: [Errno 256] No more mirrors to try.
解决方法：
需要到/etc/yum.repos.d目录下,找到chrome的repo,也就是google-chrome.repo, 删除掉或者mv到别的地方,然后yum clean all， 就能解决。
主要是因为这个chrome的源没法用
cd /etc/yum.repos.d
rm -rf google-chrome.repo
yum clean all
