Flink 部署模式

本文仅对Flink集群的部署模式作简单探讨,并未对如何部署(如环境变量,节点互信,hadoop集成配置)作说明,相关方法可百度获取。

Flink Local模式

在Local模式下仅模拟cluster集群,仅启动JobManager完成应用的运行。JobManager进程信息如下:


jobmanager_local.jpg

提交应用方式:
./flink run -p 1 ../examples/batch/WordCount.jar

Flink StandAlone 模式

使用./start-cluster.sh 启动flink集群
JobManager进程信息 :


jobManager_standalone.jpg

TaskManager进程信息 :

taskmanager_standalone.jpg

提交Flink作业:

./flink run -p 2  ../examples/batch/WordCount.jar --input hdfs://192.168.242.133:9000/tmp/input  --output hdfs://192.168.242.133:9000/tmp/output

flink-on-yarn 模式

FLink on yarn 有两种运行模式

* 创建一个yarn-session,后续提交应用至该session
* 直接 yarncluster模式提交应用至yarn服务

yarn-session模式:

该模式下,创建session以后,会启动一个Yarn applicationMaster和指定数目的Yarn Container。查看ApplicationMaster及Container进程信息可以看出,二者启动类分别为YarnAPplicationMasterRunner和YarnTaskManager。查看源码可以看出,本质上ApplicationMaster扮演的是JobManager的角色,Contaienr扮演的是TaskManager的角色,类似于启动一个Flink的集群。

然后可以通过直接提交应用至该session,由该Session负责运行应用

创建yarn-session

启动flink的yarn-session,可以使用如下命令:

./yarn-session.sh -n 3 -jm 768 -tm 768

ApplicationMaster/JobManager 进程信息

jobmanager_session.jpg

Container/TaskManager进程信息:


taskmanager_session.jpg

提交Flink作业命令:

  • 使用相同用户,在启动yarn-sesion的节点上可以通过如下命令提交应用至yarn-session:
./flink run -p 2  ../examples/batch/WordCount.jar
  • 指定yarn服务中yarn-session对应的applicationId,提交作业
./flink run -p 2 -yid application_1543030627541_0003  ../examples/batch/WordCount.jar

yarn-cluster模式

可以直接通过yarn-cluster模式提交应用至yarn服务,可使用如下命令:

./flink run -m yarn-cluster -yn 1 -yjm 1024 -ytm 1024  ../examples/batch/WordCount.jar

ApplicationMaster/JobManager

jobmanager_cluster.jpg

Container/TaskManager进程信息:


taskmanager_cluster.jpg

PS: 以上各部署模式架构图可参考:https://www.jianshu.com/p/0f4725f1b7d8

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容