Flink内存配置

前言

本文介绍的内存配置方法只适用于Flink 1.10及以上版本。

相关配置详细说明: Flink Config

配置 Flink 进程的内存

Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。 其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。

image.png

配置 Flink 进程内存最简单的方法是指定以下两个配置项中的任意一个：

配置 TaskManager 内存

Flink 的 TaskManager 负责执行用户代码。 根据实际需求为 TaskManager 配置内存将有助于减少 Flink 的资源占用，增强作业运行的稳定性。

内存模型

image.png

如上图所示，下表中列出了 Flink TaskManager 内存模型的所有组成部分，以及影响其大小的相关配置参数。

框架内存

通常情况下，不建议对框架堆内存和框架堆外内存进行调整。 除非你非常肯定 Flink 的内部数据结构及操作需要更多的内存。 这可能与具体的部署环境及作业结构有关，例如非常高的并发度。 此外，Flink 的部分依赖（例如 Hadoop）在某些特定的情况下也可能会需要更多的直接内存或本地内存。

内存计算

假设只配置 Total Process Memory = 2gb

Total Process Memory = Total Flink Memory +JVM Metaspace +JVM Overhead

JVM Metaspace 通过taskmanager.memory.jvm-metaspace.size配置, 默认96mb

JVM Overhead 计算:

首先计算 JVM Overhead = Total Process Memory * taskmanager.memory.jvm-overhead.fraction = 2gb*0.1 = 204.8mb

如果计算出来的JVM Overhead < taskmanager.memory.jvm-overhead.min则为taskmanager.memory.jvm-overhead.min;

如果计算出来的JVM Overhead > taskmanager.memory.jvm-overhead.max则为taskmanager.memory.jvm-overhead.max;

如果计算出来的 taskmanager.memory.jvm-overhead.min <= JVM Overhead <= taskmanager.memory.jvm-overhead.max 则为JVM Overhead .

因为 192mb< 204.8mb <1gb, 所以　JVM Overhead=204.8mb

Total Flink Memory = Total Process Memory - JVM Metaspace- JVM Overhead = 2gb - 96mb - 204.8mb = 1747.2mb

Managed memory = Total Flink Memory * taskmanager.memory.managed.fraction = 1747.2mb * 0.4 = 698.88mb

Framework Off-heap Memory通过taskmanager.memory.framework.off-heap.size配置, 默认128mb

Task Off-heap Memory 默认为0byte

Network Memory 计算方式同JVM overhead

Total Flink Memory * taskmanager.memory.network.fraction = 1747.2mb * 0.1 = 174.72mb

64mb < 174.72mb < 1gb，所以　Network Memory=174.72mb

Direct Memory = Framework Off-heap Memory + Task Off-heap Memory + Network Memory = 128mb + 0 + 174.72mb = 302.72mb

**Off Heap Memory **= Managed memory + Direct Memory = 698.88mb + 302.72mb = 1001.6mb

JVM Heap = Total Flink Memory - Off Heap Memory = 1747.2mb - 1001.6mb = 745.6mb 　与web-ui显示一致

Framework Heap Memory 通过taskmanager.memory.framework.heap.size配置，　默认128mb

Task Heap　剩下的内存 JVM Heap- Framework Heap Memory = 617.6mb

配置 JobManager 内存

JobManager 是 Flink 集群的控制单元。 它由三种不同的组件组成：ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。

内存模型

image.png

如上图所示，下表中列出了 Flink JobManager 内存模型的所有组成部分，以及影响其大小的相关配置参数。