新冠肺炎数据可视化

数据获取

目前，腾讯的疫情实时追踪网页能够看到实时的新冠病毒数据，网页的数据展示也非常清晰。但这个网页提供的数据没有每个市的历史数据。其它几个新闻网页的数据也都大同小异。

为了能够得到自己想看的数据，尤其的自己比较关心的数据，我观察了几个网址的数据并且用 Python 进行了获取。下面对数据获取和数据展示的方法进行介绍，供大家参考。

腾讯网页数据源

为了便于对照，建议大家使用 Chrome 浏览器查看，其实每种浏览器都类似，但界面不同，看自己的习惯。用 Chrome 打开疫情实时追踪页面，然后按下 F12，Chrome 打开 Developer Tools，再次点击页面刷新按钮，追踪到数据获取的的 Script 如下：

Response 返回的是 applicatio/json 格式的数据（Response Headers: application/json），双击左边的 getOnsInfo**, Chrome 打开一个新的页面，展示最新的病情数据：

我们再看 Query String Parameters 中有两个参数，其中 callback 参数应该是一个基于毫秒级别的时间戳。URL 去掉这个 callback 参数也可以获得最新的感染人数数据。

对这个返回的 json 数据，我们可以另存为一个 json 文件，并对数据的结构进行分析。分析的过程这里就不展开了。在这个网页中能获得如下数据：

中国确认的总人数（chinaTotal）
新增人数（chinaAdd）
每日人数汇总历史数据（chinaDayList）
每日新增人数历史数据(chinaDayAddList)
每日新增人数历史数据，分湖北、非湖北、全国三个维度（dailynewAddHistory）
每日死亡率历史数据（dailyDeadRateHistory）
areaTree: 这个节点下面包全世界数据，中国数据到市级的数据，是最详细的。

通过 Web API 获取

除了腾讯这种新闻页面，我们利用页面的数据源间接获取，也可以利用网上 Web API 进行获取。比如天气 api 就提供了疫情的 API。打开 http://tianqiapi.com/ 网页，我们可以看到页面有一个连接：

点击进入开发者指南页面，对调用的 url 和返回格式有详细说明。允许每天免费调用 3 万次，但需要先注册一个账号。

另外，Github 上也比较活跃，有很多项目利用爬虫，从诸如丁香医生的网站上爬取数据，然后提供数据更新和 Web API 服务。下面的这个项目就挺不错：

项目地址：https://github.com/BlankerL/DXY-COVID-19-Crawler
数据仓库：https://github.com/BlankerL/DXY-COVID-19-Data

这个项目提供的 api 调用示例如下：

https://lab.isaaclin.cn/nCoV/api/overall  # 返回全面疫情概况
https://lab.isaaclin.cn/nCoV/api/provinceName  # 返回省列表
https://lab.isaaclin.cn/nCoV/api/area?latest=0&province=湖北省  # 返回湖北省历史数据

API 调用请自行阅读 API 调用说明。

数据可视化

我根据自己的目的，使用 pandas 模块，将数据保存到 Excel，通过 pyecharts 模块，将可视化地图保存为 html 文件，代码比较直观，主要的处理过程为对含有多层次的数据进行扁平化，得到一个二维的数据。地图中显示的数据市确认病例的数据。pyecharts 的版本迭代较快，并且 0.5 版和 1.0 版不兼容。我使用的是 1.6 版。

import requests
import json
import pandas as pd
import os
import datetime

from pyecharts import options as opts
from pyecharts.charts import *

cities = []
def get_ncov_data() -> str:
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    data = requests.get(url).json()['data']

    return data

def get_daily_data() -> list:
    all = json.loads(get_ncov_data())
    return all['chinaDayList']


def flatten_ncov_data() -> list:
    all = json.loads(get_ncov_data())
    date = all['lastUpdateTime']

    # 第一层：国家
    china = all['areaTree'][0]['children']  # get China data

    # 第二层：省
    for province in china:
        province_ncov = province['children']

        # 第三层：市
        for city in province_ncov:
            # 输出格式
            city_ncov = {
                '日期': date,
                '省份': province['name'],
                '市': city['name'],
                '新增确认': city['today']['confirm'],
                '新增治愈': city['today']['heal'],
                '新增死亡': city['today']['dead'],
                '累计确认': city['total']['confirm'],
                '累计治愈': city['total']['heal'],
                '累计死亡': city['total']['dead']
            }

            cities.append(city_ncov)

def export_excel():
    cities.clear()
    flatten_ncov_data()
    df = pd.DataFrame(cities)

    # 导出Excel
    path = os.path.dirname(os.path.abspath(__file__))
    output_file = os.path.join(path, 'output.xlsx')

    df.to_excel(output_file)

def render_map_chart():
    cities.clear()
    flatten_ncov_data()
    df = pd.DataFrame(cities)

    # Render Map chart
    map_chart = Map()
    map_chart.add(
        "中国",  # map name
        [list(z) for z in zip(list(df["省份"]), list(df['累计确认']))],
        "china",
        is_map_symbol_show=False
    )

    map_chart.set_global_opts(
        title_opts=opts.TitleOpts(
            title="nCoV疫情地图(" + str(datetime.date.today()) + ")"
        ),
        visualmap_opts=opts.VisualMapOpts(
            max_=50000,
            is_piecewise=True,
            pieces=[
                {"min": 1, "max": 9, "label": "10人以下", "color": "#FFE6BE"},
                {"min": 10, "max": 99, "label": "10-99人", "color": "#FFB769"},
                {"min": 100, "max": 499, "label": "100-499人", "color": "#FF8F66"},
                {"min": 500, "max": 999, "label": "500-999人", "color": "#ED514E"},
                {"min": 1000, "max": 50000, "label": "1000人以上", "color": "#CA0D11"}
            ]))

    map_chart.render('ncov_map_chart_{}.html'.format(datetime.date.today()))


def render_line_chart():
    daily_data = get_daily_data()
    df = pd.DataFrame(daily_data)

    line_chart = Line()
    line_chart.add_xaxis(list(df["date"]))
    line_chart.add_yaxis("确认", list(df["confirm"]))
    line_chart.add_yaxis("疑似", list(df["suspect"]))
    line_chart.set_global_opts(
        title_opts=opts.TitleOpts(title="nCoV确认病例与疑似病例曲线")
    )

    line_chart.render('ncov_line_chart-{}.html'.format(datetime.date.today()))


if __name__ == "__main__":

    export_excel()
    render_map_chart()
    render_line_chart()

地图显示的效果如下，与腾讯疫情地图图例的颜色一样。

确认和疑似病例的日趋势曲线如下：