Flink集群部署

基础环境配置

下载安装flink

下载安装flink安装包文件,并解压:

tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz -C ./

JDK安装

下载JDK,解压:

tar -zxvf jdk-8u181-linux-x64.tar.gz -C ./

设置环境变量:

vim ~/.bash_profile
export JAVA_HOME=/home/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile

验证java是否配置成功:

java -version

安装部署

standalone方式部署

standalone的方式不需要修改配置文件内容,直接执行如下命令启动即可:

flink/bin/start-cluster.sh

打印日志如下:

Starting cluster.
Starting standalonesession daemon on host flinkMaster.
Starting taskexecutor daemon on host flinkMaster.

集群方式部署

填写配置文件

集群方式需要修改配置文件内容,打开flink/conf目录下的flink-conf.yaml配置文件,需要配置以下变量值:

-- 可以理解为spark的driver
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
这个修改为主节点的主机名。

打开flink/conf目录下的masters文件,修改主机名。
打开flink/conf目录下的slaves文件,填写从节点的主机名。
然后将该flink目录分发到从节点后,启动如下命令即可:

flink/bin/start-cluster.sh
查看前端页面

浏览器打开端口8081查看是否有如下页面:


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容