启动脚本

export HADOOP_CONF_DIR=/data/aiops/hadoop/etc/hadoop
export HADOOP_USER_NAME=hdfs
FLINK_HOME=/home/aiops/flink-1.16.2
#这个是官方的样例, 但是跑完后就会停止不方便观察运行情况
#WORDCOUNT_JAR=$FLINK_HOME/examples/streaming/WordCount.jar
#MAIN=org.apache.flink.streaming.examples.wordcount.WordCount
WORDCOUNT_JAR=$FLINK_HOME/flink_demo-1.0-SNAPSHOT.jar
MAIN=org.example.Main

$FLINK_HOME/bin/flink run-application -d \
  -t yarn-application \
  -m yarn-cluster \
  -D yarn.application.name=$applicationName \
  -D jobmanager.memory.process.size=1024m \
  -D taskmanager.memory.process.size=2048m \
  -c $MAIN $WORDCOUNT_JAR

如果想共享依赖的jar包或者配置文件, 可以加上下面的参数

  -D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.16-share' \
  -D yarn.ship-files=ext_runtime.jar

如果有其他的文件需要共享,则在yarn.ship-files中指定, 以分号隔开, 如-D yarn.ship-files=ext_runtime.jar;app.properties;keystore.jks, 加上后会在/user/hdfs/.flink/application_xx中看到对应的值, 在代码引用的时候使用相对路径

完整参数

详情查看Flink源码

yarn_config_configuration

common_memory_section