对数据中台的理解(23.11.13)

今天把数据中台来龙去脉讲一下。当我们要去了解数据中台的时候,还是要把传统的单体架构,传统的BI系统,传统DMD主数据系统首先了解清楚。这是我们了解数据中台最基本的知识。只有了解了传统的架构,我们才能够更清楚数据中台是怎么样一步一步衍生出来的。

所以首先我们看看传统单体架构下面,都采用的是烟囱式的建设。我们会去建设CMS合同管理系统,会去建设SCM采购管理系统,会去建设ERP系统。但是当这些系统建设完成后,形成一个个信息孤岛,在这个时候我们的想法是去走企业的BI商业智能,做企业辅助决策,我们回去建设传统BI系统。在建设BI系统的时候,我们自然会想到我们需要把各个业务系统的数据通过类似ETL工具抽取到我们的整个BI系统里面。所以传统的BI系统当ETL作为数据抽取够来以后,在上层就会有一个ODS库。有了ODS库,我们再结合上层数据建模和维度建模,我们会形成数据集市,或者叫DW数据仓库。这个就是传统BI的核心内容。当我们建设完整的ODS库和DW库之后,就很方便去做更上层的就是最终领导看到的各种报表的分析,各种报表的上钻下钻和维度切片,或者是方便领导关注的驾驶决策舱。

在传统的架构里面,我们发现一个关键问题,类似我们的供应商、物料等基础数据,这些基础数据可能在多个业务系统中都存在。比如说虚拟的物料在合同管理系统里面管理,但涉及实际生产的物料在采购系统里面管理,物料涉及的采购属性在采购系统里面管理,但是涉及到库存和财务记账类数据又再ERP系统里面。这个时候我们会看到,即使对于同样一个物料基础数据,没有形成一个完整统一的实体。而且物料基础数据分散在多个系统里面,很可能多个系统都在同时对这个系统维护,导致数据不一致。基于这个原因,我们在传统单体架构下面,一般会去建立MDM的主数据管理系统,把原来在各个业务系统管理的基础数据统一集中到主数据系统里面进行管理。在主数据统一管理基础数据后,如果其他业务需要这些数据,我们再通过分发的接口分发给各个业务系统使用。

当增加了MDM主数据管理系统后,传统BI系统也会出现大的变化。BI系统在各个业务系统抽取数据的时候,原来本身就包含了既要抽取类似供应商、物料这类基础数据,又要抽取订单、合同这类动态数据。在建设完成主数据系统后,我们可以发现BI系统数据抽取分为两个部分。如果仅仅是基础数据抽取,就不再从业务系统抽取,而是直接从MDM系统抽取数据进行使用。对于动态数据,再从业务系统抽取进入ODS库。这就是传统单体架构,传统BI系统为什么会形成主数据管理系统,所以我们还是传统的架构。

一个数据中台厂商说要把你基础数据进行管理,建立一个类似基础数据管理系统。那这个事情实际上跟数据中台没有任何关系。如果是一个传统单体架构,一个数据中台厂商说要把数据全部抽取出来进行集中整合,然后做一些统计报表,这些工作也跟数据中台没有关系,这顶多是BI系统。

那么数据中台的变化究竟是在哪些点,为什么会形成从传统BI朝传统数据中台的演变,我们一定要明白这个道理。这个演变不是说自己在演变,其中核心的重点在于我们原来单体架构本身在朝着微服务架构转变。也就是说整个传统单体架构变成了微服务架构,同时企业构建了企业业务中台,同时也做了平台+应用的新的架构模式。在这个时候我们可以看到,原来的就没有传统合同系统,采购系统。更多我叫订单中心、用户中心、物料中心、供应商中心,变成一个个细粒度微服务。在变成微服务中心以后,原来构建MDM系统进行物料、供应商管理就没有任何必要了。因为拆分成业务中台一个个服务中心本身就是一个个独立的微服务中心,没必要把这些数据集中到类似一个主数据系统中去管理。这些中心本身就可以朝上开放业务和数据服务能力。

第二点当拆成微服务以后我们注意到一个很关键的东西。比如原来上层应用需要一个关键的能力,希望看到整个采购执行情况,就必须访问供应商数据、物料数据、订单数据、采购执行数据,这些数据原来都是在采购系统一个大数据库中。所以,往往采用一个大的关联SQL就获取了想要的数据。但是在进行单体朝微服务的拆解后,我们会发现即使要提供一个采购执行数据服务能力,往往涉及到多个微服务提供出来的数据服务能力的整合才能最终完成这件事情。所以做这件事情反而单体拆解后不方便了。那么不方便后,我们该如何来做这件事情呢?

我们要去构建一个数据中台来做,在底层我们仍然涉及到ETL或者Hadoop这些大数据技术平台。我们需要去把各个微服数据通过ETL或者通过数据采集的方式先同步到整个数据中台中去。在数据中台我们不用特别强调是ODS库还是DW库,在数据中台中,我们可以命名为数据资产库。在数据资产库里面下方,仍然是数据贴源层,在数据贴源层上方我们进行数据建模。包括数据宽表,包括数据仓库维度模型,这些我们可以认为是在构建我们的数据资产库。当听到这个地方的时候,我们会发现这个数据中台跟传统的BI系统不仍然是一回事吗?

实际关键的一个差异在哪里呢?我们讲任何中台,不管业务中台还是数据中台,一定是讲的可共享的业务能力、数据能力的下沉。把这个能力下沉后,我不能够是在自己的封闭体系里面。传统BI我们发现数据抽取到ODS仓库后,仅仅能提供个上层数据报表分析使用。但是到了数据中台以后,通过数据资产库形成数据资产以后,就会有一个很重要的层叫数据服务层。我们所形成的数据资产能力,不仅仅是提供给前端BI报表使用,这种仍然是我们常说的OLAP应用。我们更多是希望将数据资产通过数据服务层对外进行能力开放,把开放的能力给到前端应用。这个时候我们会发现当传统BI衍生到数据中台以后,带来的最大的变化是数据中台不在是一个孤立封闭的体系。数据中台在构建数据资产这些核心要素以后,必须通过数据服务层把这个能力进一步通过API接口方式开放给业务应用使用。这个也是经常在讲业务中台、数据中台的时候,讲到数据实时反哺业务。数据不仅仅是用户决策分析,同时要支撑业务的运作。这个数据实时性价值进一步展示出来了。这才是构建数据中台最大的价值。同时我们也可以看到在传统单体架构、BI系统朝数据中台变化的时候,MDM主数据系统已经没有存在的价值。如果传统架构做了微服务架构的改造,更不需要构建主数据平台。主数据平台已经变成业务中台各个微服务中心的能力。

经过传统单体到微服务结构,从传统单体到业务中台、数据中台演变过程,我们可以更加清楚理解数据中台究竟是如何一步步产生的。最后再总结一下核心数据中台我们可以看到。它往往一般会涉及底层大数据技术平台,比如通过主流hadoop技术构建,当如如果企业全部是结构化数据,也可采用clisk house的MPP数据来完成底层数据技术平台的搭建。有了技术平台以后,上面是核心数据资产层,在数据资产层可以看到相应贴源数据,通过维度加工,加工以后数据,我们实际数据分析模型,维度模型很可能都是体现在我们的数据资产里面。在数据资产上层一个关键内容是去构建数据服务和数据能力开放层。再到上面就会有两个出口,一个出口仍然满足上层BI报表分析应用,另外一个出口是快速反哺业务应用,支撑业务应用。这才是数据中台的本质的内容。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容