数据中心模式的类型

数据中心是实现管理数据,并且对于数据中心在组织的现有体系结构中的“确切位置”存在很多困惑。人们通常想知道数据中心在其技术范围内如何满足其需求。

数据中心的实现方式可以多种多样,因此术语“集线器”可以根据观点和先入之见对不同的人意味着不同的事物。还有很多误解,因为技术世界充斥着大量的信息,其中许多信息是高质量和可信赖的,但经常会发生冲突,并且其中某些信息具有误导性。因此,让我们弄清楚该杂音。

首先,什么是模式?

当查看许多成功的实现以寻求最佳通用实践时,就会发现技术模式。当最佳实践的集合可以合并为可重复使用的可实施解决方案时,在与其他先前实施的解决方案不同的给定上下文中,这种模式值得在规定的情况下重复进行。“模式”和“架构”通常在技术对话中被提及,但是数据中心模式会出现,并且在不同的场景中可见。

企业整合模式

在数据中心中集成数据时,自然会出现两种主要模式。

数据集成中心
元数据目录
在数据集成中心(通常称为数据中心)中,数据来自不同的来源,以创建统一的数据视图。当您听到“客户360”或某些实体的360度视图时,人们通常会指代数据集成中心。

数据孤岛的存在是有充分原因的,有一些功能,技术上的原因,或者与安全性,地理位置或其他因素有关。但是在每个应用程序下,都有针对该应用程序的独特且复杂的数据存储。当与应用程序一起使用时,该数据源就可以很好地工作。但是,当实体需要来自各个孤岛的信息来制定业务或任务决策时,它们需要从每个系统中获取部分数据,并将它们组合到数据中心中,以在统一的上下文中提供所需的答案。

在这种情况下,数据源通常是关系系统,例如Oracle,SQL Server和DB2,但是可以而且确实包含来自文件系统的数据。数据湖;SharePoint;Office文档(人们在Excel上开展业务);信息; XML,JSON或纯文本格式的文档;来自内部和外部系统的提要;图形数据 地理空间数据;社交媒体; 图片; 元数据–您命名。

使用数据集线器:

  • 数据未完全从所有源系统复制到集线器。复制的唯一数据是为业务或任务提供答案所需的数据。
    记录系统不一定消失。他们经常保留记录系统。仅凭其数据不足以满足业务/任务所需的视图。
  • 通过将数据从源推送到集线器,可以根据需要保持数据同步。
  • 集线器中对数据的任何修改都将捕获在集线器中,因此可以对策展,未经策展和原始源数据以及出处和血统进行查询和审核。
  • 数据不一定要从集线器推回到源系统。集线器通常是统一上下文的聚合器。数据移动是从源到集线器再到统一视图的下游使用者。
  • 集线器中的数据可能是瞬态的。有时,数据的下游使用者是传统的数据仓库。数据集线器可用作数据的快速聚合器,比传统的ETL更快地将其清理为一致和标准化的形状。

在元数据目录(有时称为逻辑数据仓库)中,有关数据的数据聚集在中心中。它为人们提供了一种查询中心的方法,它可以知道在哪里找到他们要查找的数据,它位于哪个源系统中,和/或他们必须跟踪谁来寻求权限以获取他们所需的信息。元数据目录在拥有大量数字资产的大型媒体和出版组织中很常见。存储有关图像和视频的元数据以及有关标题,脚本,电影剧本,书籍,演员,作者,出版商,许可信息等的信息,可以使那些寻求有关特定主题信息的人找到所有相关资产,并知道在何处可以找到所寻求的信息。例如,在公共部门中,在武装部队中部署了数千个孤岛,

实际上,每个数据中心都是两者的一小部分,并且集成数据沿着从源数据到源元数据的范围分布。数据中心通常在实现方面特别关注。在这两种主要模式下,可以进行更细致的区分。

当数据中心是知识图时,数据和元数据的相同规则仍然适用。

基础架构设计(或架构)模式

数据中心可以简化基础架构设计。还有更多标签为“ Data Hub”的产品。他们提供解决方案的图片通常非常相似。


单一平台中的Data Hub

左边有许多消息来源,中间是魔术,美元符号和成功则以“洞察力”的形式飞出右边。但是,让我们仔细看看并双击所显示图片中的实际中心。

数据中心可以以单个二进制文件提供。借助可在统一的支持索引内支持多种数据模型和格式的可组合功能,工作可以专注于处理数据,而不是实现解决方案基础结构。这种类型的集线器直接进入现有体系结构并开始工作。大小和可伸缩性是一致的,因为这些功能是在单个平台中提供的,以提取,整理和交付数据。

还有其他集线器需要组装不同的组件才能创建实际的集线器。它们没有集成,并且一开始没有可用的可组合功能。在可以使用数据之前,需要努力将整个数据中心解决方案集中在一起。如果某人需要处理关系数据,文档数据和图形数据,并提供除查询之外的企业搜索功能,统一的安全性和监视,管理和母版处理功能等,则将需要多个组件。

由许多平台和应用程序创建的Data Hub结合在一起

这给架构带来了额外的复杂性,而且成本不可预测。不同的数据库和搜索引擎需要不同的索引和存储机制。不同的数据库需要不同的查询语言。将针对不同语言的查询结果聚合到一个统一的结果集中,将解决方案置于应用程序逻辑中,而不是集线器中,从而创建了另一个信息孤岛。然后是不同的安全机制,等等。从零件组装数据集线器既困难又昂贵。

数据集成和数据准备应用程序虽然具有非开发人员可以使用的精美界面,但不幸的是,如果实施不当,它们也会创建更多的数据孤岛。正确性必须在将应用程序整合在一起的代码中体现出来。编写代码以将所有组件连接在一起并提供正确的工具以与集线器交互的成本是沉没的成本,然后必须保持这一成本。

数据架构模式

在这里,我们找到了数据建模,实体定义,管道处理配置,流程等的模式,将它们分别识别并清楚地作为重点领域很重要。整本书都涉及关系数据,文档数据和图形 数据建模主题,并且随着异构数据的融合以解决新问题并为数据中心内的数据和信息产品提供新机会,还将出版更多书籍。

https://www.dataversity.net/types-of-data-hub-patterns/#

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349