[译] Flink 内部系统架构

官网地址： https://ci.apache.org/projects/flink/flink-docs-release-1.7/internals/components.html

从软件架构来看，Flink 属于分层系统：

  • Runtime 层接收 JobGraph 形式的计划，JobGraph 中有消费和生成数据流的各种任务。
  • DataStream API 和 DataSet API 都通过单独的编译处理生成 JobGraphs。DataSet API 使用优化器来确定程序的最佳计划，而 DataStream API 使用流构建器。
  • JobGraph 根据 Flink 中可用的各种部署选项执行（例如：本地、远程、YARN等）
  • Libraries 和 APIs 与Flink 的 DataSet API、 DataStream API 绑在一起。这些 Table 用于逻辑表的查询、机器学习的 FlinkML 和图形处理的 Gelly。
Flink 内部系统架构
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容