第一部分
安装standlone模式
下载地址:https://flink.apache.org/downloads.html#apache-flink-191
下载文件使用最新的版本
flink-1.9.1-bin-scala_2.11.tgz
flink-shaded-hadoop-2-uber-2.7.5-7.0.jar
tar -zxvf flink-1.9.1-bin-scala_2.11.tgz
1.1、vi /usr/local/flink/flink-1.9.1/conf/flink-conf.yaml
jobmanager.rpc.address: localhost修改成本地主机名
taskmanager.numberOfTaskSlots: 2,taskmanager资源条修改成2个
1.2、修改slaves,为你指定的taskmanager机器的主机名
1.3、scp -r flink-shaded-hadoop-2-uber-2.7.5-7.0.jar hadoop1:/usr/local/flink/
1.4做主机之间的ssh免密登录
#######1.4.1在每台主机上执行命令,并一路回车,生成加密文件
ssh-keygen -t rsa
1.4.2.主机之间执行命令:
ssh-copy-id hadoop0
1.4.3 测试 ssh hadoop1
1.5启动flink
start-cluster.sh
jps
在hadoop0上看到的StandaloneSessionClusterEntrypoint即jobManager,在其他节点上看到的TaskManagerRunner即TaskManager。
访问JobManager的web管理界面,端口8081
1.6运行flink的程序
1.6.1web页面直接执行
1.6.2使用命令行提交
bin/flink run -m hadoop0:8081 -p 4 -c main xxxx.jar --hostname hadoop0 --port 8888
参数说明
-m:指定主机名后面的端口为JobManager的REST的端口,而不是RPC的端口,RPC通信端口是6132
-p:指定并行度
-c:指定main方法的全类名