数据中台 = 数据仓库?你的答案是Yes么?

近期总是会从种种渠道看到关于数据中台的推荐文章,Sorry我不是很了解,我们先看看业界对中台的普遍看法是什么。

数据中台:是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强关联性,是这个企业独有且能复用的。

这就是数据中台的普遍定义,首先强调的是数据技术,然后是海量数据。意味着什么?数据中台似乎是用大数据生态技术来解决业务对数据诉求的一种模式。

我尝试着从网络上搜索了一些关于中台架构的设计图,下面是一个比较简单的例子。看起来有四层架构设计,数据采集、计算、服务和应用。

其实已经算是比较容易让人理解的了,至少比其他文章中要显的简单易懂。

图片发自简书App

我们都知道目前使用数据中台的都是哪些企业?发起者:阿里巴巴,看过阿里的大数据之路的话,应该比较能理解为什么阿里需要引用数据中台的概念出来。

原因有很多,互联网企业,数据产生的速度,体量都是中国企业的No.1,想用传统的数据仓库来解决数据决策乃至对外提供服务么?基本不可能?有什么业务部门能够等IT两周的时间去设计,开发,测试再上线?基本上互联网企业要求的时效性都是最高的,因为数据的产生要服务于下一个业务环节,任何多余的等待都是在影响企业盈利。基于此,几乎所有的中国互联网企业都一股脑的奔向了数据中台,试图拥抱数据中台来解决他们的问题。

那么搭建数据中台需要什么?很显然,互联网企业需要的是大数据人才,这也是为什么数据中台的架构设计中基本上都是Hadoop生态环境的产品组件,Flink,Kafka,Strom,ELK,Spark Stream,MySQL等,国内数据中台的搭建首先想到的是拥有这批技能的专业人才,那么他们是哪类人才?程序员,没错,我们口中所说的Programer。

图片发自简书App

但是Programer != Modeler,为什么数据仓库体系很少能够给这类互联网企业带来直接的盈利?因为变现太难了,互联网企业业务变化日新月异,每天都可能有无数个idea出来,业务部门想第一时间去尝试,然后就有了数据中台,以大数据,实时分析,机器学期,集群...等大数据基础支撑起来的产品。

那么数据中台是否仍有问题?我猜是数据模型设计,看看上图,ODS,DWS,DWD,ADS,沿用的是Kimball的维度设计理论,反范式化的模型设计,的确一定程度上让复杂的业务数据在多种维度上进行了统一,各个业务部门有了统一的维度模型,数据更加规范;使用SQL Query效率更高,能够以数据立方体的形式提供给决策部门有力的数据支持。这和传统的数据仓库思路一致,并没有什么差别。

如果无法从模型角度解决适应业务变化的方案,我相信数据中台在未来一段时间内仍有很多路要走。

个人理解,数据中台也仅仅是构建在大数据技术基础之上,为了适应业务快速发展变化,目标是为了提供可复用的数据服务的一种方案,但是由于其模型理论上的缺陷,只能依靠技术去解决和适应变化,未来一定是需要修正的。它包含了部分的数据仓库的概念,但是与企业级数据仓库仍有区别,从理论到技术,再到应用场景都有巨大的区别。

下篇文章,我们可以从数据模型角度出发,讨论一下企业级数据仓库应该如何搭建。

欢迎批评指正。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355

推荐阅读更多精彩内容