目录：
一、Selenium简介
二、Selenium库和Requests库对比
三、Selenium的安装
四、安装浏览器驱动
五、Selenium的使用——以爬取单页东方财富网上市公司利润表数据为例
一、Selenium简介
Selenium是什么？自动化测试工具。Seleninm能控制浏览器,像人一样"上网"。比如，可以实现网页自动翻页、登录网站、发送邮件、下载图片/音乐/视频等等。
Selenium能做到"可见即可爬"。也就是说网页上你能看到的东西，Selenium都能爬取下来。
二、Selenium库和Requests库对比
Selenium库的优势：如果网站设置了反爬，Selenium库可以非常方便地获取到一些Requests库难以获取的网页源代码，而且能模拟键盘和鼠标操作，写法也很简洁。
Selenium库的劣势：通过Selenium库访问网站是相当于模拟人打开一个浏览器进行访问的，其访问速度要比Requests库慢很多。
所以，对于普通的网站，使用Requests库来爬取，对于Requests库无法获取网页源代码的复杂网站，再使用Selenium库来爬取。
三、Selenium的安装
打开Anaconda Prompt，选择开始菜单-Anaconda3-Anaconda Prompt。
在命令行中输入
pip install selenium==3.3.1
为什么安装3.3.1版本呢？因为最新的selenium4版本的元素定位函数和selenium3的元素定位函数有所差异。而目前很多网上的教程和分享的python脚本用的都是selenium之前的版本。
注意：该方法可能由于连接超时，安装失败。
解决方法：修改pip的默认连接超时时间，让它多等一会，将命令改为:
pip--default-timeout=100 install selenium==3.3.1
四、安装浏览器驱动
Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。
Selenium调用浏览器必须有一个webdriver驱动文件，如谷歌浏览器驱动文件chormedriver，Firefox驱动文件geckodriver。
我们演示如何安装chormedriver。
1、查看Chrome版本号
点击Chrome菜单“帮助”→“关于GoogleChrome”，即可查看Chrome的版本号
2、下载chromedriver
chromedriver下载地址：
https://chromedriver.storage.googleapis.com/index.html
下载与自己Chrome版本号一致的chromedriver
3、解压后将chromedriver.exe放置在文件夹anaconda3-scripts下
四、Selenium的使用——以爬取单页东方财富网上市公司业绩为例
我们以东方财富网披露的上市公司2020年年报的利润表为例，用Selenium抓取该网页的第一页财报数据。
网页url：
https://data.eastmoney.com/bbsj/202012/lrb.html
1、创建浏览器对象
使用Chrome浏览器构造一个Webdriver对象，赋值给变量web，代码如下：
from selenium import webdriver
web= webdriver.Chrome()
2、访问页面
web调用get()方法请求想要抓取的网页，参数传入链接URL即可。代码如下：
web.get('https://data.eastmoney.com/bbsj/202012/lrb.html')
3、元素定位
Selenium可以驱动浏览器完成各种操作，比如模拟点击等。要想操作一个元素，首先应该识别这个元素。人有各种的特征（属性），我们可以通过其特征找到人，如通过身份证号、姓名、家庭住址。同理，一个元素会有各种的特征（属性），我们可以通过这个属性找到这对象。
webdriver提供了一系列的对象定位方法，常用的有以下8种：
具体到本案例，谷歌浏览器右键“检查”，点击“Elements”，发现我们需要的财报数据在class为dataview-body的div标签下，每行数据则在该div标签下的tr标签中，每个单元格数据则在tr标签下的td标签中。
因此我们的元素定位思路如下：
（1）使用find_element_by_class_name方法查找表格所在的节点。
（2）再向下定位到tbody节点下的tr节点，因为网页中有很多个tr节点，所以要用find_elements_by_tag_name方法。
（3）再向下定位到td节点，因为网页中有很多个td节点，所以要用find_elements_by_tag_name方法。
代码如下：
element = web.find_element_by_class_name('dataview-body') # 定位表格，element是WebElement类型
tr_content = element.find_element_by_tag_name("tbody").find_elements_by_tag_name("tr") # 进一步定位到每一行表格内容
data=[]
for tr in tr_content:
td_content=tr.find_elements_by_tag_name('td')
4、元素信息获取
我们所需要的元素在td节点中，因此我们可以遍历td节点，每行数据存储到变量lst中；遍历tr节点，整个表格数据存储到变量data中。
我们可以使用get_attribute()方法来获取元素的属性，通过text方法获取元素的文本内容。
代码如下：
lst = [] # 创建一个空列表存储数据
for td in td_content:
lst.append(td.text)
data.append(lst)
定位元素、获取元素信息后，我们需要将元素存储下来，这需要用到pandas库，代码如下：
data=pd.DataFrame(data)
data.to_excel('东方财富网上市公司2020年年报利润表第一页数据.xls')
全套代码
#爬取单页东方财富网上市公司利润表数据
from selenium import webdriver
import pandas as pd
web = webdriver.Chrome()
web.get('https://data.eastmoney.com/bbsj/202012/lrb.html')
element = web.find_element_by_class_name('dataview-body') # 定位表格，element是WebElement类型
tr_content = element.find_element_by_tag_name("tbody").find_elements_by_tag_name("tr") # 进一步定位到每一行表格内容
data=[]
for tr in tr_content:
td_content=tr.find_elements_by_tag_name('td')
lst = [] # 创建一个空列表存储数据
for td in td_content:
lst.append(td.text)
data.append(lst)
data=pd.DataFrame(data)
data.to_excel('东方财富网上市公司2020年年报利润表第一页数据.xls')
结果
报告：我没有动浏览器，浏览器自己打开了自己
存储结果：
