1、基础知识

一、BI

商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。BI是一套完整的解决方案,用来将企业中所采集到的现有的数据(原始数据或业务数据等)进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
如果还是难以理解的话,可以以Excel作为参照物。Excel可以用来做数据处理和数据汇总,只不过只支持一定量的数据,如果数据量大,处理起来会十分吃力。而BI就是来代替Excel处理海量数据的,更加简单高效,并且BI能够以图表的方式,更加形象具体地展示出整合后的数据。


网络图片
  • 原始数据
    不同的业务系统,原始数据都不一样。比如说营销类系统,那么原始数据就是用户的一些数据:用户基础信息、用户行为信息等;比如智慧城市系统,那么原始数据就是行人车辆的一些数据:行人车辆的基础信息、数量、违规行为等
    这些数据,会根据业务需求进行整合成业务所需的数据报表进行展示。这一过程,就需要ETL来进行。

二、ETL

ETL是Extract-Transform-Load的缩写,即是“提取 - 清洗转换 - 加载”,这是一个完整的对原始数据进行提取、转换处理、加载到数据仓库的过程。简单理解,就是根据业务需求,对原始数据进行制定提取和处理后,保存到数据仓库。

ETL流程图
  • Extract/提取
    目的:从原始数据中提取相关的数据
    比如需要对用户的城市进行统计,那么需要提取原始数据中的IP数据

  • Transform/清洗转换
    目的:把提取到的数据,转换成数据仓库/DW的标准格式
    清洗:因为提取过来的数据,会存在不同数据之间的不兼容或冲突的情况,所以需要对这些数据的错误进行修复,使数据保持一致性,以便数据能够用于目标数据仓库。比如说:数据缺失则需要设置默认值,多了字段则需要去掉,重复数据需要去重,字段类型不一致等情况;通常会通过创建用于诊断源系统问题并提高数据质量的meta-data(元数据)来解决这类问题。
    转换:把清洗过后的数据按照DW的标准格式进行转换

  • Load/加载
    目的:把清洗转换后的数据加载到数据仓库/DW中
    构建聚集:创建聚集,对数据进行汇总,并存储到数据表中,以提高用户查询的性能

PS

上面只是简单说明了下三个步骤的一些操作,还有更多的一些操作没有说明,想要更深入学了解可学习大数据方面的内容

三、数据仓库

数据仓库是一个数据库,专为查询和分析而设计,而不是事务处理。
通过集成来自多个异构源的数据构建数据仓库,使公司或组织能够整合来自多个来源的数据,并将分析工作与事务工作分开。
数据转化为高质量信息,以满足各级用户的所有企业报告要求。

ETL-BI

ETL测试

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。