Flink(1)简介

简介

官网,Flink 是分布式大数据处理引擎,可对有限水流或无限数据流做有状态或无状态对计算,能够部署在各种集群环境,对各种规模是数据进行快速的计算

flink的一些概念

  • Streams: 流,分有限数据流和无限水流。
  • State: 状态,是计算过程中的数据信息
  • Time: 分为Event time , Ingestion time , Processing time
  • API: 通常分为三层,由上而下分为 SQL/Table API ,DataStream API ,ProcessFunction。

flink 架构

  • flink 具备统一的框架处理有界和无界两种数据流的能力。
  • 部署灵活。底层支持多种资源调度器,包括 Yarn , Kubernetes 等,Flink 自身带的Standalone 的调度器,在部署上也十分灵活。
  • 极高的可伸缩性,可伸缩性对于分布式系统十分重要
  • 极致的流式处理性能。

数据处理架构演变

1.传统数据架构


传统数据架构.png

2.分析处理架构


分析数据处理.png

3.有状态流处理
有状态流处理.png

4.lambda架构


lambda架构.png

5.flink
flink.png

参考:尚硅谷Flink 教程
https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Apache Flink 简述 Introduction to Apache Flink一书的读书笔记 State...
    JiangWork阅读 3,919评论 0 2
  • 原文翻译如下。 Apache Flink是一个能在有界与无界数据流上进行有状态计算的框架。Flink在不同层次的抽...
    耳边的火阅读 3,283评论 0 0
  • 夜莺2517阅读 127,905评论 1 9
  • 版本:ios 1.2.1 亮点: 1.app角标可以实时更新天气温度或选择空气质量,建议处女座就不要选了,不然老想...
    我就是沉沉阅读 11,902评论 1 6
  • 我是一名过去式的高三狗,很可悲,在这三年里我没有恋爱,看着同龄的小伙伴们一对儿一对儿的,我的心不好受。怎么说呢,高...
    小娘纸阅读 8,819评论 4 7

友情链接更多精彩内容