240 发简信
IP属地:湖南
  • 数据开发套件是整个数据中台PaaS的核心,是基于开源生态的Spark和Flink做为计算引擎的基础上,为数据开发者提供了一套开发界面。一方面是方便开发者使用数据平台,简化数据同步和数据开发任务的创建、发布、调度、运维等一系列数据开发任务,提升生产效率。另外一方面,通过统一的开发入口,可以实现元数据的自动录入、数据血缘关系的识别等,再配合数据地图的类目管理和权限管理,为数据治理提供了极大的便利。数据开发是落地数据中台的关键过程,既需要开发工具的支持,也需要数据建模的约束。行业里数据中台阿里云是始祖,现在阿里云合作伙伴袋鼠云在这块比较钻、专,现在也做得不错,它的数栈开发套件中也引入了一套基于阿里巴巴多年数据中台实践的数据模型工具,来帮助企业规范数据建模,提升模型的生命力。数栈的数据开发平台,可以兼容多个物理集群,并支持在单集群上实现多租户资源隔离,既可以帮助企业实现一套大数据平台多个部门分租使用,也可以帮助企业整合现有多个集群统一管理。

    数据开发套件在数据中台中起着怎样的作用?

    数据开发套件在数据中台中起着怎样的作用?

  • "可以先从数据中台的概念了解:
    广义的数据中台:既包括前面提到的数据生产力工具,也包括利用生产力工具来做落地的过程、组织和结果。数据中台是一个战略高度的思想,甚至需要企业从组织架构等方面进行布局。
    狭义的数据中台:专指生产力工具
    数栈就是这样一套数据中台生产力工具,是一组定位是数据中台PaaS层的产品集合。核心包括数据开发套件、数据治理套件和数据应用引擎。当然,为了方便客户,数栈自身也基于Flink和Spark构建了一套支持实时计算、离线计算和学习型计算的数据计算引擎。但是,数栈不仅仅支持自带的数据计算引擎,大部分产品模块也支持市场上第三方的数据计算引擎,包括Cloudera、星环、MaxCompute等。所以,数栈的核心是数据开发套件、数据治理套件和数据应用引擎,而数据计算引擎是可替换可兼容的。
    当然,数据开发套件、数据治理套件和数据应用引擎从最终的产品设计来看,更多是逻辑模块的划分。实际上为了用户使用过程中的体验流畅性,一部分数据治理的产品模块也直接放进到数据开发套件,比如数据地图和数据模型;数据治理套件目前主要包含的是数据质量;数据应用引擎则包括数据API、标签工厂和大屏引擎,数据应用引擎根据行业和业务场景,可以不断的从数据应用产品中下沉演化,将通用部分的功能抽象成数据应用引擎。
    数据开发套件是整个数据中台PaaS的核心,是基于开源生态的Spark和Flink做为计算引擎的基础上,为数据开发者提供了一套开发界面。一方面是方便开发者使用数据平台,简化数据同步和数据开发任务的创建、发布、调度、运维等一系列数据开发任务,提升生产效率。另外一方面,通过统一的开发入口,可以实现元数据的自动录入、数据血缘关系的识别等,再配合数据地图的类目管理和权限管理,为数据治理提供了极大的便利。数据开发是落地数据中台的关键过程,既需要开发工具的支持,也需要数据建模的约束,如袋鼠云数栈开发套件中就引入了一套基于阿里巴巴多年数据中台实践的数据模型工具,可以更好地帮助企业规范数据建模,提升模型的生命力。数栈的数据开发平台,可以兼容多个物理集群,并支持在单集群上实现多租户资源隔离,既可以帮助企业实现一套大数据平台多个部门分租使用,也可以帮助企业整合现有多个集群统一管理。
    数据中台和一般的数据平台还是有着本质上的区别的。"

    数据中台和数据平台是什么关系?有什么区别?

    数据中台和数据平台是什么关系?有什么区别?

  • "数据中台的概念最初是由阿里巴巴提出的,它是一个承接技术,引领业务,构建规范定义的、全域可连接萃取的、智慧的数据处理平台,建设目标是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。概念有了后,就需要落实到内容上了,阿里云合作伙伴袋鼠云将数据中台建设内容归纳为这几个方面:
    一、全域数据采集与引入
    以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务(电商、零售、生产等)、多终端(PC、H5、APP等)、多形态(自身业务系统、三方购买、互联网采集抓取)的数据。
    二、标准规范数据架构与研发
    统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。
    三、连接与深度萃取数据价值
    形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。
    四、统一数据资产管理
    构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。
    五、统一主题式服务
    通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。"

    数据中台建设内容包括哪几个方面?

    数据中台建设内容包括哪几个方面?