启动脚本
export HADOOP_CONF_DIR=/data/aiops/hadoop/etc/hadoop
export HADOOP_USER_NAME=hdfs
FLINK_HOME=/home/aiops/flink-1.16.2
#这个是官方的样例, 但是跑完后就会停止不方便观察运行情况
#WORDCOUNT_JAR=$FLINK_HOME/examples/streaming/WordCount.jar
#MAIN=org.apache.flink.streaming.examples.wordcount.WordCount
WORDCOUNT_JAR=$FLINK_HOME/flink_demo-1.0-SNAPSHOT.jar
MAIN=org.example.Main
$FLINK_HOME/bin/flink run-application -d \
-t yarn-application \
-m yarn-cluster \
-D yarn.application.name=$applicationName \
-D jobmanager.memory.process.size=1024m \
-D taskmanager.memory.process.size=2048m \
-c $MAIN $WORDCOUNT_JAR
如果想共享依赖的jar包或者配置文件, 可以加上下面的参数
-D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.16-share' \
-D yarn.ship-files=ext_runtime.jar
如果有其他的文件需要共享,则在yarn.ship-files中指定, 以分号隔开, 如-D yarn.ship-files=ext_runtime.jar;app.properties;keystore.jks, 加上后会在/user/hdfs/.flink/application_xx中看到对应的值, 在代码引用的时候使用相对路径
完整参数
详情查看Flink源码
yarn_config_configuration
common_memory_section
