《业务架构.应用架构.数据架构实战》之五

本章节主要讲业务驱动的数据架构设计

1 数据架构定义

数据架构在DAMA和TOGAF中有不同的定义,但是其核心都包括了三件事:数据架构的终极目标是支撑战略;数据架构的具体内容包括数据需求、数据设计和数据管理;数据设计的内容包括数据模型设计、数据存储设计、数据流程设计。

数据领域的发展主要包括从OLTP到BI,再到BigData,技术变成API的发展从最早的Spark Streaming (低级API)到后来的Strucured Streaming(高级API),数据架构从最早的数据架构发展到企业数据管理。我们的数据管理能力成熟度模型标准是GB36073。

2 TOGAF的数据架构方法

业务架构、数据架构、应用架构、技术架构在设计上都是9步,而且框架都一模一样。

1)确定设计那些视点

2)开发基线数据架构

3)开发目标数据架构

4)进行差距分析

5)识别能力增量

6)架构影响评估

7)干系人评审

8)敲定数据架构

9)创建架构文档。

3 数据架构的设计过程

数据架构的实际工作内容如下图:

数据架构内容


a 数据需求

数据需求=需要管理那些数据类型,包括根据不同领域的业务需求,识别生产库、历史库、BI库;识别主数据对应的数据类型;识别结构化、非结构化的数据;

b 静态设计

静态设计=逻辑数据模型+物理存储与分布。静态设计主要包括四个方面:数据模型设计、数据生命周期设计、数据存储策略设计、数据分布策略设计。逻辑数据模型设计一般采用E-R图设计。

c 动态设计

动态设计=数据流+数据沿袭+数据接口。动态设计的核心是数据经过什么样的传递、路径、处理方法和通过什么样的交换接口。

d 数据管理

数据管理=数据标准+数据质量+数据安全。数据标准是数据质量的基础,没有数据标准就没有数据质量。数据安全可以认为是数据标准的一个分类标准。

4 数据架构设计实践

a数据建模

1) 业务主体、业务域【巨粒度】-发现数据域

在巨粒度分析过程中,通常采用UC矩阵作为主力工具。UC矩阵是IBM公开发布的业务系统规划(BSP)方法中的一种。UC矩阵分为横纵两个纬度。横坐标代表业务主体或者功能域,纵坐标代表巨粒度的数据域。

2)业务流程【粗粒度】-发现数据实体、属性、关系

粗粒度分析过程中,通常借助Archimate业务流程图识别图中每个流程片度相关的数据实体,最为方便。

3) 功能、特性【中粒度】-细化数据实体、属性、关系

业务流程说到底是围绕业务的,而功能特性却是“业务能力+系统能力”。

4)业务规则【细粒度】-细化数据实体、属性、关系

明确业务规则,并逐条确认数据模型是否支持他。

b 分析数据需求,识别数据类型

根据业务功能域识别结构化数据和非结构化数据。

c 数据数据模型,定义生命周期

数据表的设计至关重要。采用传统表和事实表、维度表堆后续的计算很有帮助,尽量设计成静态表。对大型的表进行拆解。

d 规划数据存储,设计数据分布

在数据规划中,将生产数据和历史数据分离,再将结构化数据与非结构化数据进行分离,将音频等文件单独保存,在接线记录数据库表里保存其地址。

e 数据流、数据沿袭、数据交换格式设计

数据应该经过什么样的流程或ETL方法进入到数据仓库,为后面的分析做基础。

5 总结

本章主要讲了数据架构的定义、组成以及数据架构基于TOGAF的设计过程,并用具体的案例对5个步骤的过程进行了演示。数据架构的需求来源于业务架构,但是最终的目标也是支撑业务实现,满足最初的规划需求。而整个过程的难点是数据模型识别的充分性、完整性以及数据库表规划的合理性。前者关系到数据能否支撑业务的全面开战,后者关系到业务活动能够及时响应以及后续的更新升级。比如一个字段很多的大表设计对于一个实时性响应很高的项目就是致命的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容