数据分析报告样例 http://www.linfanli.xyz:8000/report/
一、背景
基于最近自动化实现数据分析报告,支持自动化实现不同分析主题的数据分析项目。例如:空气质量AQI分析报告,股票行情波动分析报表。
数据数据分析报告构成: 图表解释(pyechart只输出图表)、分析结论(文字描述)、统计分析(差别是否有统计学意义)。
二、目的
1. 设计统一报告模板:文字+图表
2. 自动化输出:python脚本一键式输出
3. 图表区可交互: 基于pyecharts库的html,继承echarts交互功能
4. 可扩展:报告模块可以动态扩展,例如样例有7个模块构成(概述/监测点/AQI/首要污染物/结论/源码/致谢)
三、数据来源
3.1 数据源
空气质量监测数据:数据源属主 新浪微博 @王_晓磊; 数据源下载地址: https://beijingair.sinaapp.com/
本次数据采用“中国空气质量数据”:china_cities_***.csv - 城市平均数据,数据采集频率1h/次;数据源同步最近时间:上个周日,即每周一次。
说明:因为数据源是爬虫数据,存在极个别日期的缺失,例如:china_city_20190824.csv
3.2 数据构成
第一行为列名,分别是日期、小时、数据类型、各个监测点名(城市名);以下每行为某时刻一种类型的数据。
3.3 AQI指标
四、python实现
4.1 技术框架
python第三方库: jinja2 + pyecharts + html样式(css+js)
jinja2 是一个 Python 的功能齐全的模板引擎。它有完整的 unicode 支持,一个可选的集成沙箱执行环境,被广泛使用,以 BSD 许可证授权。以上是官方说明,简单来说,它提供了替换功能(变量替换)和一些强大的特性(控制流、继承等),可以快速生成数据文件,使得业务与数据分离开来,满足一些灵活多变的配置需求。 --摘自Python模板引擎Jinja2使用简介 https://www.jianshu.com/p/c7180eda4889
pyecharts 数据图表可视化工具,目前市面上存在2个版本,v0.5 和 v1.*;本报告脚推荐采用V1版本(v0.5绘图脚本完全区别于V1),官网http://pyecharts.org/#/
html 渲染报告页面呈现样式,提供用户体验;方便、结构化、交互功能有利于提供报告的潜在价值。本报告脚本中已经提供html模板,包括导航栏、报表模块(单一文字, 图表+文字, Tab键多图表),如果需要定制html模块需要一定html基础。
4.2 python-script
项目脚本按照功能进行封装,如下所示
4.2.0 报告模块template
报告模块可以拆分成各个模块的html文件,具体如下所示
wrapper.html 报告整体封装模板,主要包括如下部分:
1. title: 页面标题 参数变量
2. navvigation.html 报告导航栏 模板
3. content: 报告主体内容 参数变量
4. footer.html 报告页脚 模板
base.html 报告主体模板,可以扩展填充各模块: part0_html ~ part6_html 参数变量
navigation.html 报告导航栏模板,注意导航栏的模块数应和base.html参数保持一致,以便通过锚点实现快速导航定位
foot.html 页脚模板
section.html 报告模块模板,如下图所示包括模块标题和模块主题
tabs.html 报告Tab键切换模板,tab_title* 上述section.html的标题锚点,tab_content*的图形区组成
4.2.1 python-script 报告主脚本
1. Report.py 报告主脚本,调用模板生成报告,如下进行祥解
2. get_pyecharts.py 基于pyecharts的二次封装,生成图表对象
3. get_api.py 通过各个监测项目,计算AQI
4. templates.py 基于jinja2创建template调用函数
Report.py通过嵌套的方式,调用template,生成报告;根据python预编译流程,依次调用 wrapper.html -> base.html -> section.html -> tabs.html
4.4 现存问题及迭代方向
1. 结合Django 实现报告Web端访问,进行尝试后端管理平台实现自动化
2. 图表区目前不支持自适应,图表模块实现基于屏幕的自适应,需要前端资源支持
3. 数据层同步更新,本例仅是基于本地的离线数据
5. 项目创新及亮点
* 基于pyhton第三方库Jinja2通过调用模板的方式生成报告,以一已之力实现分析报告自动化输出;
* 解决之初报告图表静态的样式,可交互显示目标图形
6. 源码
由于简书不支持文件上传,且自带的引用格式不友好,后续尝试源码同步到百度云(链接: https://pan.baidu.com/s/1OxueUpLO6gESwTPYnAVkfQ 提取码: nwpm 永久有效,由于部分监测点未纳入echarts城市字典表,需要人肉录入)
a. 报告框架:Jinja2模板进行报表输出.
b. 报告样例:参照pandas_profile库的样式风格.
c. 报告图表:pyecharts库的图形输出.
致谢
项目背景: 监控数据报表需要以报告(有指标有纣)的形式输出,尝试落地输出html格式,附带图形交互功能.
a. 技术架构:Jinja2框架、pandas_profile样式、pyecharts图形.
b. 空气质量监测数据:数据源属主 新浪微博 @王_晓磊; 数据源下载地址: https://beijingair.sinaapp.com/.
c. 空气质量标准参照国家生态环保部 HJ 633--2012 http://kjs.mee.gov.cn/hjbhbz/bzwb/jcffbz/201203/W020120410332725219541.pdf
d. IAQI计算脚本 https://www.cnblogs.com/Kevin-WangXinzheng/p/9801041.html
e. 徒手人肉出报表,欢迎转发和打赏