区别1:产品功能不同
1、Dataworks,在阿里集团内部为大家所熟知的部分是D2,在阿里云则是数加平台的主体-数据工厂。DataWorks(数据工场)具备全栈数据研发能力(数据集成与开发、 生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建)的大数据平台;
2、Dataphin,通过输出阿里数据中台实战沉淀的大数据建设体系OneData+OneID +OneService(产品+技术+方法论),一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取的全链路智能数据构建及管理服务。
一句话总结:DataWorks具备全栈数据研发能力和机器学习开发能力的大数据平台,这是dataworks的优势,劣势就是不具备数据中台(数据仓库)建设方法论的指导; Dataphin具备完善的“OneData+OneID +OneService(产品+技术+方法论)” 数据中台(数据仓库)建设方法论构建体系,这是dataphih的最大优势,劣势就是不具备很强的全栈数据研发能力,暂时也不具备机器学习开发能力。----
区别2:产品定位不同
1、Dataworks 定位为大数据开发平台,ETL、数据仓库建设等对开发者不做任何限制。开发者可以利用dataworks做任意想做的工作,数据中台(数据仓库)构建的方法论也不做任何限制。开发者可以利用dataworks,既可以按照维度建模理论构建数据中台(数据仓库)、也可以按照范氏建模理论构建数据中台(数据仓库)、也可以按照E/R理论构建数据中台(数据仓库),灵活性是dataworks的优势之一,当然也是劣势之一。因为缺乏数据中台(数据仓库)建设方法论的支持,dataworks对于缺乏数据中台建设方法论经验的开发者(或者企业)不够简单易用;
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
2、Dataphin 定位于输出阿里巴巴数据中台方法论,开发者严格按照基于阿里多年零售经验的维度建模理论构建数据中台(数据仓库)。“设计即开发”,这是dataphin坚持的核心理念,使用dataphin的时候,开发者需要严格定义业务板块、数据域、业务过程、维度、原子指标、派生指标,然后“傻瓜式”地构建数据中台(数据仓库)。开发者可能都不用写任何代码(甚至连sql都可能不用写),只要按照上述维度建模方法论完成所有设计,即可构建数据中台(数据仓库)。
区别3:实时计算能力
不论是dataworks还是dataphin,均定位于离线批量开发能力。对于实时计算能力的支持,dataworks比dataphin稍微更强一些。利用dataworks集成的datahub+flink等工具能力,能够实现一些简单应用场景的实时计算能力; dataphin也在规划实时计算能力,在2020.4月左右,dataphin发布了新版本可以实现配置实时计算引擎,在这个版本的更新中,dataphin主要解决的就是实时计算问题,无论是交互还是查询,在实时计算方面有很大的改良。
【总结】
1、如果开发者(或者企业)希望傻瓜式的构建数据中台(数据仓库),而且是借鉴阿里基于零售业务积累的“OneData+OneID +OneService”方法论构建维度建模体系的数据中台,那么dataphin是不错的选择;
2、如果开发者(或者企业)希望购买一套全栈数据研发能力的大数据平台,涵盖完善的数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据微服务应用搭建等能力。而且数据中台(数据仓库)不限制于维度建体系,那么dataworks是不错的选择。
另外基于简单的开发:(这里不应该说是简单的开发,其实无论是dataworks还是dataphin都已经可以应对一个数据量级很大的开发)
dataphin有完整的数据模型设计,dataworks没有。
dataphin有体系化的数据指标管理,dataworks没有。
dataphin有数据萃取,核心实体的标签构建与管理,dataworks没有。
dataphin有基于逻辑模型的语义的OneService能力,dataworks没有。
dataphin有灵活自助的数据资产治理能力,dataworks没有。
dataworks有SQL编辑器,dataphin有。
dataworks有图形化的调度平台,dataphin有。
dataworks有数据地图,dataphin有。
dataworks有数据质量管理,dataphin有。
这么一看,是不是显得dataworks比较尴尬?实际上很多较大的公司,都有考虑或者选择从dataworks转型到用dataphin开发,最主要的还是dataphin数据方法论的支持。
较好的总结:
Dataworks,是一个基于任务形式的数据调度平台,是一个工具,用于处理数据ETL的;Dataphin,是提供数据服务的,规范数据仓库建设,定义dwd层数据,定义原子,派生指标,形成主题式dws层数据,对外服务;简单来说,一个是数据计算层的ETL产品,一个是数据服务层的产品 。