阿里巴巴的数据计算层包括两大体系:
- 数据存储及计算平台
- 离线计算平台MaxCompute
- 实时计算平台StreamCompute
- 数据整合及管理体系(OneData,现在应该叫DataWorks)
一、数据开发平台
阿里数据研发岗位工作概况:了解需求——模型设计——ETL开发——测试——发布上线——日常运维——任务下线。
- 统一计算平台:MC
- 统一开发平台:DataWorks——数据开发
二、 任务调度系统
DataWorks: - 任务发布
- 运维中心
- 数据开发——调度配置
阿里的DataWorks集开发和运维于一体,文章编写的时候还没有该产品