Pandas新用法-爬取金融数据

今天水公众号发现一个神器Pandas的pd.read_html()函数用来写爬虫可以轻松爬取电影票房数据、世界大学排行榜数据、财经数据等等网站上的表格样数据。
参考学习资料：
天秀！Pandas还能用来写爬虫？
作者选择了金融数据来做例子，原代码如下：

import pandas as pd
df = pd.DataFrame()
for i in range(6):
    url = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
    df = pd.concat([df,pd.read_html(url)[0]])
    print("第{page}页完成~".format(page=i+1))
df.to_csv('./data.csv', encoding='utf-8', index=0)

整个过程不需要用到正则表达式或者xpath等工具，短短的几行代码就可以将数据嗖嗖地爬下来了，确实超级无敌方便。
那就实验一次吧。
额，太久没有学习python的相关知识了，第一关就卡了，新安装的pycharm没有安装padas库呀，并且安装过程出现了一个报错。

image.png

那就只能搜索了，搜到一个类似的帖子：
https://blog.csdn.net/weixin_42840933/article/details/85308265

根据这个帖子找到解决方法。
首先我的电脑安装的是Python3.8，直接用pip install 会报错

Last login: Wed Apr  1 21:36:15 on console
Cheng-MBP:~ chelsea$ pip install pandas -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
-bash: pip: command not found
Cheng-MBP:~ chelsea$ pip3 install pandas
Collecting pandas
  Downloading https://files.pythonhosted.org/packages/e9/97/63740ed74af57e00f07fab6a9c6baa4a592d28d254c0f9877901ccb12d3d/pandas-1.0.3-cp38-cp38-macosx_10_9_x86_64.whl (10.2MB)
     |██████████████▍                 | 4.6MB 5.6kB/s eta 0:16:42

pip和pip3的区别

其实这两个命令效果是一样的，没有区别：

比如安装库pandas，pip3 install pandas或者pip install pandas：只是当一台电脑同时有多个版本的Python的时候，用pip3就可以自动区分用Python3来安装库。是为了避免和Python2发生冲突的。
如果你的电脑只安装了Python3，那么不管用pip还是pip3都一样的。
安装了python3之后，会有pip3
（1）使用pip install XXX ：
新安装的库会放在这个目录下面：python2.7/site-packages
（2）使用pip3 install XXX ：
新安装的库会放在这个目录下面：python3.8/site-packages
（3）如果使用python3执行程序，那么就不能importpython2.7/site-packages中的库。

python的库安装也需要设置镜像

python国内网络的问题，需使用国内的镜像源来加速。
有提示可以通过如下代码设置
pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
这个是豆瓣源的镜像
--trusted-host pypi.douban.com这个参数设置是为了获得ssl证书的认证，要不然会报错
python的库安装镜像源，和R语言的清华镜像类似；
查了一些资料找到如下介绍：

1.用`easy_install`和pip来安装第三方库很方便

它们的原理其实就是从Python的官方源https://pypi.python.org/pypi 下载到本地，然后解包安装。不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。

2.常见国内镜像源

http://pypi.douban.com/simple/ 豆瓣
http://mirrors.aliyun.com/pypi/simple/ 阿里
http://pypi.hustunique.com/simple/ 华中理工大学
http://pypi.sdutlinux.org/simple/ 山东理工大学
http://pypi.mirrors.ustc.edu.cn/simple/ 中国科学技术大学

3.配置成默认

使用方法：sudo pip install -i http://pypi.douban.com/simple/ flask

要配制成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOMEPATH%\pip\pip.ini），修改内容为：

[global]
index-url = http://pypi.douban.com/simple

macOS修改默认python版本操作：

Cheng-MBP:~ chelsea$ which python3
/Library/Frameworks/Python.framework/Versions/3.8/bin/python3
Cheng-MBP:~ chelsea$ alias python="/Library/Frameworks/Python.framework/Versions/3.8/bin/python3"
Cheng-MBP:~ chelsea$ source ~/.bash_profile
Cheng-MBP:~ chelsea$ python
Python 3.8.1 (v3.8.1:1b293b6006, Dec 18 2019, 14:08:53)
[Clang 6.0 (clang-600.0.57)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

因为暂时没有找到Mac的全局设置方式：直接在安装后面接镜像地址也可以安装：

Cheng-MBP:~ chelsea$ pip3 install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting pandas
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/e9/97/63740ed74af57e00f07fab6a9c6baa4a592d28d254c0f9877901ccb12d3d/pandas-1.0.3-cp38-cp38-macosx_10_9_x86_64.whl (10.2MB)
     |████████████████████████████████| 10.2MB 148kB/s
Collecting python-dateutil>=2.6.1 (from pandas)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/d4/70/d60450c3dd48ef87586924207ae8907090de0b306af2bce5d134d78615cb/python_dateutil-2.8.1-py2.py3-none-any.whl (227kB)
     |████████████████████████████████| 235kB 953kB/s
Collecting numpy>=1.13.3 (from pandas)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/f2/81/43f7a2c7893a58c0f304b44f4c084a7918ce295a1b6dd9275bcddccb7feb/numpy-1.18.2-cp38-cp38-macosx_10_9_x86_64.whl (15.2MB)
     |█████████████▏                  | 6.2MB 261kB/s eta 0:00:35

用了清华镜像后下载速度明显加快
安装pandas库的时候系统会同时安装一些依赖的库，跟R包的安装差不多安装成功提示如下：

Installing collected packages: six, python-dateutil, numpy, pytz, pandas
Successfully installed numpy-1.18.2 pandas-1.0.3 python-dateutil-2.8.1 pytz-2019.3 six-1.14.0

现在回到pycharm:

image.png

再输入前面的那段代码，pandas已经安装好，下面就不会有波浪线提示了，直接运行查看结果：

/usr/local/bin/python3.8 /Users/chelsea/PycharmProjects/test_pandas/step_01.py
Traceback (most recent call last):
  File "/Users/chelsea/PycharmProjects/test_pandas/step_01.py", line 5, in <module>
    df = pd.concat([df,pd.read_html(url)[0]])
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 1085, in read_html
    return _parse(
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 891, in _parse
    parser = _parser_dispatch(flav)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 848, in _parser_dispatch
    raise ImportError("lxml not found, please install it")
ImportError: lxml not found, please install it

Process finished with exit code 1

继续在终端进行安装：

Cheng-MBP:~ chelsea$ pip3 install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting lxml
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/86/e5/3412ef8d7870c4075dcd832298e07f2bfa2c18879aeea5d931f7096f27ba/lxml-4.5.0-cp38-cp38-macosx_10_9_x86_64.whl (4.6MB)
     |████████████████████████████████| 4.6MB 130kB/s
Installing collected packages: lxml
Successfully installed lxml-4.5.0

再回到pycharm运行那段代码：

/usr/local/bin/python3.8 /Users/chelsea/PycharmProjects/test_pandas/step_01.py
第1页完成~
第2页完成~
第3页完成~
第4页完成~
第5页完成~
第6页完成~

在工作目录下会出现一个csv文件打开如下所示

image.png

第一次成功爬取到数据，开心。

补一个Mac设置镜像的方法https://blog.csdn.net/liushimiao0104/article/details/96475364

Pandas新用法-爬取金融数据