基于yarn模式Flink任务的基本操作

@TOC

Background

在yarn模式下，Flink 的相关命令和其他模式的所有不同，实验总结记录方便以后查找，相关命令参数不再赘述，若有问题，欢迎叨扰，记录如下：

提交一个任务（或称启动一个Flink集群）

flink run -d -m yarn-cluster -yjm 1024 -ytm 1024 -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png
  • 如上图所示，提交成功会返回application_1594793724312_0017【容器ID】和1a34822e073f30fd7952622b9d4e5d63【JobID】，在yarn的Web界面也可以看到正在运行的该容器

触发保存点（保存点需手动触发，检查点会自动触发）

  • 【注意】这个命令里的【容器ID】和【JobID】不是上一个的，本来按顺序演示的，结果这条给忘了哈，最后补上的
flink savepoint e005af8188c0697bbc6257e56a7d61f4 hdfs:///user/flink/savepoints -yid application_1594793724312_0013
image.png

停止（或称取消）任务并创建保存点

flink stop 1a34822e073f30fd7952622b9d4e5d63 -p hdfs:///user/flink/savepoints -yid application_1594793724312_0017
image.png
  • 这里用stop命令，cancel命令已过时。需要传入刚才返回的【容器ID】和【JobID】，还有保存点的位置，成功会返回保存点的完整路径，恢复任务要用到这个路径

从保存点恢复任务

flink run -d -m yarn-cluster -s hdfs://sutong01.cloudansys.cn:8020/user/flink/savepoints/savepoint-1a3482-53090949ca2c -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容