智能数据引擎Dataphin重磅发布,提供一站式的技术管理能力

摘要:面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年2月28日MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年春季的MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

Dataphin作为智能的大数据平台,能够协助各行各业智能地建设与管理属于自己的智能数据。自2018年2月28日MWC大会全球首发后,3月12日又推出了专有云v3.3首发V0.8版本,6月15日,则将推出专有云v3.5发布升级后最新的V1.0版本。

场景应用

数据急剧增长的情况下,企业会面临着多种数据问题:

数据构建过程艰辛,数据管理结果差强人意;

数据建设周期与效率越发难以保证。因为缺乏工具化支持,依赖专业人才设计数仓、开发过程繁杂,同时只有文档沉淀、不可持续迭代使用;

高效生产管理数据越发困难。因为缺乏一站式平台,导致设计与开发脱节、数据指标不一致,数据建设不规范而难维护、资源浪费而成本增高;

数据价值难发掘、难用于业务、难量化。因为缺乏系统化方法论和配套产品,无法输出智能易用的数据及数据服务以更好支持业务,数据投入产出不高也难追踪到问题;

......

因此对于数据量达到TB级别的客户,企业一方面需要尽力招聘更多专业的数仓人员或分析师满足数据需求,另一方面却依然存在数据重复建设、数据前后不一致的问题。此外,业务需求依然难以快速满足,数据资源成本指数级增长依然难以控制。

为此,Dataphin基于实践验证的OneData、OneID、OneService方法论与技术,提供了工具化、产品化的一站式数据构建与管理平台,既可以保证数据生产标准规范、数据模型设计即开发为代码、即时生成主题式数据服务,同时还能提供数据资产化管理的门户,有效降低了数仓建设门槛,提高生产效率、降低生产成本,让数据从成本中心真正变成价值中心。

在适用客户上,Dataphin服务于所有以数据业务(包括数据驱动业务、数据即业务)为核心的客户,可应用于数据量大或者增长过快、数据类型多样丰富的场景下,帮助快速生产管理标准规范的公共数据,快速服务业务使用(如经营报表、营销圈人)。

从具体的应用场景来看,Dataphin提供了四种能力:

有了Dataphin之后,如上问题弹指间即可解决。

Dataphin基于实践验证的OneData、OneID、OneService方法论与技术,既可以保证数据标准规范定义、数据模型设计即自动化开发、主题式数据服务即时生成,同时还能提供数据资产化管理的门户,有效降低数仓建设门槛,也提高生产效率、降低生产成本,轻松实现让数据从成本中心真正变成价值中心,且可量化呈现。

数仓规划与建模研发:建模研发支持通过可视化定义SQL表达式的方式完成模型设计,而系统自动发布生成任务与生产数据,且所有数据指标标准规范无二义性,适用于业务对数据需求多且及时性要求高而专业人才有限情况的客户,一般需要全局化数据监控;

数据萃取:支持通过自定义配置参数的方式三步完成以实体对象为中心的业务主数据提炼、DMP构建,实现ID识别连接、标签标准规范地自动化生产,消除数据孤岛,适用于可以有丰富数据自建DMP、有营销投放等对象识别分析需求、用数据驱动业务发展而专业人才有限情况的客户,一般需要数据化运营;

资产分析及治理:支持资产化视角构建及管理数据体系并一目了然数据价值,适用于数据类型多样、数据丰富、数据成本或者质量安全对企业很重要等需要统一管理数据的客户,特别是以数据为业务的、数据融入业务的;

数据服务:支持面向主题的逻辑表查询,保证数据被快捷方便地查找定位、数据查询SQL得到最大的简化,提高效率的同时,保证规范、标准、无二义的数据输出至业务应用,适用于有很多数据应用、需要API化或者其他非代码查询方式使用数据的客户,数据化运营或者数据业务化都会有需求。

目前,Dataphin已在大润发和海底捞两个项目进行测试。基于Dataphin平台,有望实现公司业务10%以上的数据开发工作工具化和标准化,还能形成一套以公共层数据支持为基础的经营报表分析和营销分析平台。

技术解读

6月15日,Dataphin将升级推出专有云v3.5发布后最新的V1.0版本。

作为PaaS层工具产品,这一版本最大的提升在于功能易用性,比如即可视化数据建模、代码自动化生成、数据资产图谱自动化生成,通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。

其中,建模研发设计与开发的一体化完成,能够极大提高原有完全人工编写代码的效率(可视化勾选填写后,代码和数据自动化生产)、降低数仓建设复杂度。此外,利用工具将数仓模型的知识进行沉淀,那么后续的迭代也会更加便利。同时,Dataphin还申请了专利的智能黑盒技术,通过近一年的打磨,保证产品端简单的操作录入数仓建设信息后,经过智能黑盒可以输出稳定的、计算和存储机制最优的数据生成代码。

目前,业界也有多个项目聚焦数据建设相关方面,比如腾讯数据工坊、teradata、informatica都有相似做数据建设开发的工具,在代码编辑、提交调度等方面功能稳定性和性能度上的表现也都较为稳定。但是,它们都没有Dataphin所提供的全局数仓架构设计功能,也没有建模设计后立即自动化代码生成的功能。

实操接入

目前,Dataphin数据平台的技术水准遥遥领先于国内同类型产品的榜首。它具有很强的自动化代码生成能力,除去高效建设以降低生产资源(因业务差异),核心可以释放20%甚至以上的分析师和数据开发工程师的人力,还能将企业数据资产留在自己的系统工具内,对于广大企业来说,选择Dataphin绝对物超所值。

对于企业来说,借力阿里的智能数据引擎Dataphin,通过其结合数据中台实践沉淀的方法论和自动化代码生成等技术能力,能够极好地解决人才和工具两方面的问题。

原文链接

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容