一、环境
| 软件 | 版本 | 备注 |
|---|---|---|
| Ubuntu | 20.04.1 LTS | 操作系统 |
| kubernetes | v1.18.16 | 1 * master node, 3 * worker node |
| flink | 1.12.3 | |
| java | open jdk 11 | |
| docker | 19.03.11 |
二、下载 flink 到本地，并配置JDK
#下载flink
wget https://mirror-hk.koddos.net/apache/flink/flink-1.12.3/flink-1.12.3-bin-scala_2.11.tgz
#创建目录
mkdir -p /home/dsi/soft/flink
# 解压
tar -zxf flink-1.12.3-bin-scala_2.11.tgz -C /home/dsi/soft/flink
# 创建软连接
cd /home/dsi/soft/flink && ln -snf flink-1.12.2 flink
# 下载 open jdk 11
wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz
# 创建目录
mkdir -p /home/dsi/soft/java
# 解压
tar -zxf openjdk-11+28_linux-x64_bin.tar.gz -C /home/dsi/soft/java
# 创建软连接
cd /home/dsi/soft/java && ln -snf jdk-11 java
# 配置环境变量
cd /home/dsi && vim .bashrc
#在文件中添加如下内容并保存
export JAVA_HOME=/home/dsi/soft/java/java
export FLINK_HOME=/home/dsi/soft/flink/flink
export PATH=$JAVA_HOME/bin:/usr/bin:$FLINK_HOME/bin:$PATH
# 使新添加的环境变量生效
source /home/dsi/.bashrc
三、 测试是否满足官网要求的前置条件
- Kubernetes >= 1.9 满足
- 检查是否有 list、create、delete、edit
pods和services的权限 满足
dsi@*******101:~$ kubectl auth can-i list pods
yes
dsi@*******101:~$ kubectl auth can-i create pods
yes
dsi@*******101:~$ kubectl auth can-i edit pods
yes
dsi@*******101:~$ kubectl auth can-i delete pods
yes
dsi@*******101:~$ kubectl auth can-i list services
yes
dsi@*******101:~$ kubectl auth can-i create services
yes
dsi@*******101:~$ kubectl auth can-i edit services
yes
dsi@*******101:~$ kubectl auth can-i delete services
yes
dsi@*******101:~$
- Enabled Kubernetes DNS 满足
image.png
- 具有创建、删除pod的RBAC权限的默认服务帐户 满足
# 这里为 flink 创建新的 namespace 和 serviceaccount
#创建名为flink-session-cluster的namespace
kubectl create namespace flink-session-cluster
#创建名为flink的serviceaccount
kubectl create serviceaccount flink -n flink-session-cluster
#做serviceaccount和角色的绑定
kubectl create clusterrolebinding flink-role-binding-flink \
--clusterrole=edit \
--serviceaccount=flink-session-cluster:flink
四、Session Mode
4.1 向 k8s 提交一个 flink session
kubernetes-session.sh \
-Dkubernetes.namespace=flink-session-cluster \
-Dkubernetes.jobmanager.service-account=flink \
-Dkubernetes.cluster-id=session001 \
-Dkubernetes.rest-service.exposed.type=NodePort
- 启动日志
image.png
- 查看web UI
image.png
4.2 向 flink session 提交任务
4.2.1 CLI方式提交任务
flink run -d \
--target kubernetes-session \
-Dkubernetes.namespace=flink-session-cluster \
-Dkubernetes.cluster-id=session001 \
-Dkubernetes.jobmanager.service-account=flink \
/home/dsi/soft/flink/flink/examples/streaming/WindowJoin.jar
日志
image.png
Flink WEB UI 查看任务
image.png
4.2.2 REST API 方式提交任务
上传 JAR
curl -X POST -H "Expect:" -F "jarfile=@/home/dsi/soft/flink/flink/examples/streaming/WindowJoin.jar" http://10.199.252.101:31000/jars/upload
响应结果
{
"filename":"/tmp/flink-web-05fd2b22-e232-4188-ae91-096683902f92/flink-web-upload/10be8401-5cad-4170-a862-20a0c924dd77_WindowJoin.jar",
"status":"success"
}
运行Job
curl -X POST http://10.199.252.101:31000/jars/10be8401-5cad-4170-a862-20a0c924dd77_WindowJoin.jar/run
响应结果
{"jobid":"d37317e95fd3b83cf8b59ea7d1abcf86"}
Flink WEB UI 查看任务
image.png
五、Application Mode
- 直接以Application提交任务
flink run-application \
--target kubernetes-application \
-Dkubernetes.namespace=flink-session-cluster \
-Dkubernetes.cluster-id=my-first-application-cluster \
-Dkubernetes.jobmanager.service-account=flink \
-Dkubernetes.container.image=flink:1.12.3 \
local:///opt/flink/examples/streaming/WindowJoin.jar
- 日志
image.png
- Flink WebUI 查看任务运行
image.png
