Flink 使用介绍相关文档目录
前言
Nexmark和TPCDS性能测试类似，它目前的版本提供了23条SQL，代表了23种典型的数据分析场景。Nexmark不使用任何外部的source和sink，能够真实的反映出流计算系统的性能。
环境要求
- Flink 1.15.4
- Nexmark 0.2 (master)分支
- 因测试较为耗费硬件资源，建议服务器64G以上内存，32核心左右
编译
执行：
git clone https://github.com/nexmark/nexmark.git
将代码clone到本地。
接下来修改Flink版本。编辑根目录的pom.xml，将其中的flink.version修改为对应的Flink版本。这里以1.15.4版本为例。
<properties>
<flink.version>1.15.4</flink.version>
<slf4j.version>1.7.15</slf4j.version>
<log4j.version>1.2.17</log4j.version>
<java.version>1.8</java.version>
<scala.binary.version>2.12</scala.binary.version>
<maven.compiler.source>${java.version}</maven.compiler.source>
<maven.compiler.target>${java.version}</maven.compiler.target>
</properties>
最后进入nexmark-flink目录执行build.sh开始编译。编译完成之后可看到生成的nexmark-flink.tgz文件。复制走备用。
配置Standalone集群
Nexmark只支持Flink standalone集群。这里我们搭建一个standalone模式集群。
- 下载Flink 1.15.4 安装包。下载地址为：https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-bin-scala_2.12.tgz。解压到任意目录。
- 解压
nexmark-flink.tgz到任意目录。 - 复制
nexmark-flink/lib中的jar到Flink目录的lib中。 - 配置Flink目录的
conf/masters（JobManager节点）和conf/workers（TaskManager节点）。 - 复制
nexmark-flink/conf/sql-client-defaults.yaml到Flink目录的conf中。 - 修改
nexmark-flink/conf/flink-conf.yaml中的:
jobmanager.rpc.address为集群JobManager的hostname或者IP地址。
state.checkpoints.dir为checkpoint保存路径。
state.backend.rocksdb.localdir为rocksdb本地数据保存路径。
taskmanager.numberOfTaskSlots如果TM个数过少，可能会资源不足，建议调大该配置。 - 复制
nexmark-flink/conf/flink-conf.yaml到Flink目录的conf。 - 修改
nexmark-flink/conf/nexmark.yaml中的nexmark.metric.reporter.host为JobManager的hostname或者IP地址。 - 使用scp，整个复制Flink目录和
nexmark-flink目录到各个节点，在各个节点中的路径要确保一致。 - 配置各个节点的
~/.bash_profile。增加如下环境变量：
export FLINK_HOME=/path/to/flink-1.15.4
- 在JobManager节点执行Flink安装目录中的
bin/start-cluster.sh等待集群启动。成功启动后使用浏览器可以打开http://jobmanager_ip:8081，进入Flink Dashboard。 - 执行
nexmark/bin/setup_cluster.sh。执行成功后可在各个节点查看到com.github.nexmark.flink.metric.cpu.CpuMetricSender进程。
运行测试
nexmark-flink/bin/run_query.sh all
执行所有的SQL测试。
FAQ
执行nexmark/bin/setup_cluster.sh后节点上没有CpuMetricSender进程
原因很可能是FLINK_HOME环境变量没有配置，需要在问题节点执行前面第10步。
Flink作业频繁failed或者restart
问题在于slot数量过少。测试集群TaskManager节点数量过少的时候会出现该问题。建议增加TaskManager数量，或者增大每个TaskManager的slot个数。参见前面第6步。
另外，TaskManager的内存建议增加到20G以上。
