streamX1.2.1部署flinkSql on yarn,flinkSql on standlone.

说明

采用 streamX 提供的例子,进行测试演示。

配置flink home

image.png

image.png

配置flink standlone集群信息

image.png
image.png

FlinkSQL on Standlone

配置应用(application)

image.png

官方提供的例子,点击编辑信息。


image.png

image.png

填写应用名称


image.png

点击提交


image.png

点击按键,依次出现三个状态


状态1
状态2
提交sql到集群

状态3
运行中界面
flinkweb-ui界面

表明提交成功

FlinkSQL on yarn

配置应用(application)

复制官网例子中sql,新建app任务。


新建

集群选择

前提条件,需要为streamx所在服务器安装hadoop客户端,并配置hadoop home,应为yarn的链接信息包含在hadoop/etc 中的配置文件中,在stream启动时系统会自动去识别参数。见下图


image.png

运行原理

FlinkSQL on yarn,streamx先用本地flink 选用的版本,构建工程包然后提交到yarn运行起来。

提交应用

image.png

yarn界面


image.png

注意事项

配置hadoop环境是关键

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容