Pyflink 本地开发与测试

1、环境准备

首先，准备 python 虚拟环境。2020年11月3日时的 pyflink 的最高版本为 1.11.2，请开发者按照实际需要或者线上环境要求来指定 pyflink 版本。

wget https://ci.apache.org/projects/flink/flink-docs-release-1.11/downloads/setup-pyflink-virtual-env.sh
sh setup-pyflink-virtual-env.sh 1.11.2
source venv/bin/activate  # 激活虚拟环境

setup-pyflink-virtual-env.sh 脚本会自动安装 miniconda 并在当前目录下创建虚拟环境文件夹 venv，然后自动安装 apache-flink 模块后压缩虚拟环境为 venv.zip。

2、脚本开发

Pyflink 脚本开发请认真参考官方文档v1.11。

Pyflink 正在快速发展的阶段，每次版本更新都会增加很多新的特性，同时会取消旧特性，因此务必确保开发时所参考的文档与本地 pyflink 版本一致。

3、Jar 包依赖

Flink 中的 Jar 包是 connector 的扩展，允许在 flink 脚本中连接和使用各种数据存储工具，包括：

文件系统，如 HDFS，S3
数据库，如 MySQL，MongDB
消息队列，如 Kafka

Pyflink 默认支持有限的几种 jar 包，如有特殊需要（例如以 json 格式来消费 kafka 里的数据），需要手动指定脚本依赖的 jar 包所在的路径。

已知有 3 种方式来指定 jar 包依赖。

3.1、方法1：在 pyflink 脚本中指定

在脚本中完成 TableEnvironment 的初始化后，添加下面的脚本以指定 jar 包路径（多个 jar 包的路径用 ; 隔开）。

table_env.get_config().get_configuration().set_string("pipeline.jars", 'xxxx.jar;xxxxx.jar')

注意，本地环境的 jar 包路径与线上环境的 jar 包路径可能不同，因此每次提交到线上时还需要修改脚本中的路径为对应的路径。

3.2、方法2：在 pyflink 模块的 lib 目录下。

找到 pyflink 模块的安装路径，以及对应的 lib 目录。

import pyflink
import os

print(os.path.join(os.path.dirname(pyflink.__file__), 'lib'))

然后使用 cp 命令复制 jar 包到 lib 目录下即可。

这种方法一次运行，一劳永逸，比较适合本地开发。

3.3、方法3：flink run -j

这种方式不适用于本地开发，而是用于提交到集群上时指定 jar 包的路径，但为了较为系统地介绍 jar 包依赖的指定方式，故在此介绍。

命令如下：

flink run -m yarn-cluster \
  -j flink-sql-connector-kafka_2.11-1.11.2.jar \
  -pyarch venv.zip \
  -pyexec venv.zip/venv/bin/python3 \
  -py main.py

通过 -j 参数来指定一个 jar 包路径，多个 jar 包则使用多个 -j 。

4、本地测试

Flink 支持使用 local-singleJVM 模式来进行本地测试，即只需简单的执行 Python xxxx.py 命令，pyflink 就会默认启动一个 local-singleJVM 的 flink 环境来执行作业。

在运行过程中，可以另起终端，输入 jps 来查看 java 进程。

最后编辑于：2020.11.03 21:14:30