【必点】如何解决正面临的各大数据集成难题?

各位老师上午好,我是金智教育的李齐光,主要负责主数据产品的设计与规划,本次就这两天出现的信息标准,数据集成等高频率字眼来跟大家做一个深度分享。

优化高校数据集成势在必行

随着信息化不断推进,高校对于数据的深层次需求越发强烈,越来越多的应用场景对数据的诉求也越来越高。比如人事专业技术职务申报离不开科研项目,这些场景都离不开数据共享,离不开数据集成。

高校对数据的依赖性正在加强,数据越发凸显,数据是高校由经验型决策转向数据型决策的驱动力。我们不仅要满足当前的各个需求场景,还要把数据作为资源长久持续地保留下来,这也离不开数据集成。

但高校数据现状却不容乐观,近十年的数据集成仍遗留大量问题亟待解决,这些问题涉及以下部分:信息标准建设、数据集成与共享、数据存储、数据质量、长效运营等。

优化高校数据集成势在必行,我的观点是:高校数据集成正在由事后集成逐步向事先设计的趋势发展。

我们先来看看 信息标准如何建设:

信息标准建设四部曲

1、信息标准初始建设

首先,依托教育部标准,以学校人财物建设“人优先,财和物偏后”为指导思想,构建信息标准。建设过程中以服务内容为落脚点,明确各部门间数据提供和数据使用的供需关系。

其次,做好万全材料收集准备,包括:基础代码标准、数据模式标准、数据流向标准,高校数据应用表格、本科教学基本状况数据,高校整体基础数据采集结构等。

再次,明确数据设计规范,包括:每个表命名方式、唯一关键字,每次同步记录操作的人员信息等。

另外,还需做好业务模型、主数据模型、代码标准规范等内容。

最后,有个小建议:以上信息标准建设工作交给1个基础较好的厂商完成,学校在此基础上不断优化落地。

2、校内信息需求调研

调研过程中不断灌输统一数据校级资产意识,信息中心需要不断引导业务部门对数据的正确认识:数据是学校公共资源,而并非部门私有财产,这样良性的数据共享意识将是数据完成有效交换和集成的关键。

盘点好业务系统现状以及内外部数据关系,这部分工作以业务部门梳理为主,信息中心配合。过程中一定要把握好调研的“度”:避免不调研或全面调研两种极端方式。

3、校内核心校标落地:影响全局的标准先落地(组织机构、职工号、学号等),其它随信息化建设逐步完善,避免求大、求全。核心标准制定后,必须召集相关执行人员交流,确保落地。

4、做好日常管控:有了初始标准和核心校标,日常管控也很重要。在新业务系统建设、现有业务系统集成过程中,对运行过程中的偏差都需要管控。控制内容:代码标准+数据模式标准+数据流向标准。数据质量是设计出来的,不是集成出来的。

标准不是静态的,日常管控确保信息标准可落地与动态迭代。

多方携手,系统集成不再是老大难

1、数据集成方案

系统集成必须围绕信息需求制定数据集成方案,并需结合信息标准数据流向规划以及业务系统建设使用情况来确定集成边界。需要继承方、信息中心、业务部门,第三方公司通力配合完成。

内容边界一般涉及四个方面:需要的代码标准,需要的业务数据,提供的代码标准,提供的业务数据。

除了集成内容边界,还要考虑数据集成的技术方式,一般有三种典型集成方式:ETL数据共享,数据库共享和API共享,三者是互补关系。

另外,也要考虑同步频率,实时同步,1小时/1天同步一次,根据业务需求确定,够用即可。

2、元数据注册

元数据是理解数据的前提,是推动学校持续数据治理优化的基础,元数据注册范围尽可能是业务系统完整元数据,以及涉及到共享和需要的数据及代码表的元数据。

3、代码标准检查

代码标准检查依托于上面的元数据,也是数据集成前代码统一的有效检查技术手段,我们可以获取多种代码差异,在方案评审中进行评审。

4、方案评审

评审内容:集成方案评审(主数据模式差异)、代码标准评审(代码标准差异)。评审处理原则:a优先遵循教育部标准;b优先遵循数据源头标准;c需要信息中心、业务部门、公司共同讨论。

5、标准迭代

方案评审后会带来一系列的迭代工作,公司和信息中心层面需要完成学校代码标准迭代、学校数据模式迭代以及监督业务系统迭代情况,业务部门和第三方需要完成业务系统代码标准调整以及涉及到数据内容的清洗。

6、数据集成

以公司为主,业务系统提供方强力配合。注意典型数据清洗转换:

7、运行监控

运行监控对平台中不规范的接口、代码标准不一致情况、数据质量等问题进行监控,监控对数据治理是非常有帮助的。

一般常见的数据质量检测规则如下:

事先接口涉及调用是大趋势

这些年集成的本质都是事后集成,重的是技术通道,但是没有重视内容建设。

在“大平台、小应用”的开放生态模式,平台需要采用一体化的集成策略,内置标准或者数据模式和数据操作接口,把行业积累转化为一个个领域模型,并以API方式对外提供,实现传统紧耦合、封闭式架构到分布式、开放架构的转变,实现从“数据集成”向“服务集成”的转变,满足学校业务开发快速响应的需求。

这种模式下数据访问更及时,数据消费更真实,建设模式更开放,可以让更多人参与到信息化建设过程当中。

最后想对各位始终坚持在一线的信息化从业人员致敬,高校信息标准的落地还需要靠大家共同努力。我的报告分享到这边,谢谢大家~~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容