开篇
商业智能系统,Business Intelligence,BI,数据中心,叫法各异,职责相同,以下统一称为BI系统。
BI负载对于公司的运营效果、系统的运行情况及改版效果,基于数据层面,进行比较客观的统计和分析,为高层管理人员对于公司运营、为产品部门对于网站的设计及改版或算法调整前后效果,提供参考及考量。
BI系统的职责是统计分析相关的,对数据的实时性要求不高,允许一天以上的数据延迟;对于和具体的业务密切相关的、或者实时性要求高的统计分析,则不应该放到BI系统,而是应该放在各自的业务支持系统中去。
BI系统是一个数据系统,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。基础的BI是统计分析,BI的进阶是决策支持,从“之前发生了什么,为什么会发生”,到“现在发生了什么,将来会发生什么”。
名词解释
- BI:商业智能(Business Intelligence)
- ETL: 提取、转换和加载(Extraction-Transformation-Loading)
- ODS:操作型数据存储( Operational Data Storage )
- DW:数据仓库(Data Warehouse)
- DM: 数据集市 (Data Mar) 、 数据挖掘(Data Mining)
- OLAP:联机分析处理(Online Analysis Process)
系统解决办法
(1)根据统计的需要,进行数据抽取,从业务系统数据库中,抽取到BI数据库
- 抽取的过程中,可能是每天定时、每小时定时、触发等方式,具体是要根据具体的场景
- 抽取的逻辑,要能保证重复抽取,比如某天数据出现问题时。。。
- 抽取的过程,可能涉及一些计算逻辑,比如对于毛利率的计算,需要商品的成本价,对于成本价的获取,可能就有一些逻辑
- 数据抽取的办法,可以引入能简化开发工作量的第三方框架,比如dataX
(2)数据收集
- 数据置标:根据业务的需要,一些数据需要置标,通过日志进行分析,或者把标记记录到数据库中,比如下单的:source、ref、pos
- 网站流量:插码或者分析日志
- 日志分析:收集用户访问路径,停留时间,退出页等
(3)结果呈现
- 使用好的JS框架图形化呈现BI报表,比如JQuery插件,但是不推荐ExtJS框架,太过于封装及学习成本的原因
- 短信提醒,重要结果的提醒
(4)公式定义
- BI的产品定义,对要展示数据内容的明确定义,比如毛利率公式、转化率等。
系统功能设置
呈现:
(1)实时数据报表
(2)订单售后相关报表
(3)商品库存相关报表
(4)渠道广告相关报表
(5)网站流量相关报表
数据:
(1)流量统计
(2)数据抽取中间件