4.阿里大数据——离线数据开发

阿里巴巴的数据计算层包括两大体系:

  • 数据存储及计算平台
    • 离线计算平台MaxCompute
    • 实时计算平台StreamCompute
  • 数据整合及管理体系(OneData,现在应该叫DataWorks

一、数据开发平台
阿里数据研发岗位工作概况:了解需求——模型设计——ETL开发——测试——发布上线——日常运维——任务下线。

  • 统一计算平台:MC
  • 统一开发平台:DataWorks——数据开发
    二、 任务调度系统
    DataWorks:
  • 任务发布
  • 运维中心
  • 数据开发——调度配置

阿里的DataWorks集开发和运维于一体,文章编写的时候还没有该产品

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 表情是什么,我认为表情就是表现出来的情绪。表情可以传达很多信息。高兴了当然就笑了,难过就哭了。两者是相互影响密不可...
    Persistenc_6aea阅读 125,987评论 2 7
  • 16宿命:用概率思维提高你的胜算 以前的我是风险厌恶者,不喜欢去冒险,但是人生放弃了冒险,也就放弃了无数的可能。 ...
    yichen大刀阅读 6,099评论 0 4