rss 远程shuffle

rss client

driver侧,向codinator申请分配shuffle-server节点;封装给task

codinator

接收rss-client请求,响应driver请求,diver是长链接,只需建立一次,因此多配置节点即可实现高可用;可以通过elb解耦,避免修改spark端配置

shuffle-server

接收rss client推送的文件块,计算,合并生成shuffle文件 data + index文件;对外提供shuffle读服务

完整过程是

启动
  • driver 启动时,同时启动rssmanager -> dirver联系 coodinator 申请一组shuffle-server -> 根据负载情况返回一组(默认最大20台)-> Driver 将分配好的 ShuffleServer 地址广播给所有 Executor

备注:申请shuffle-server只关注reduce的个数

server返回策略
rss.coordinator.assignment.strategy 节点分配策略
值有

  • PARTITION_BALANCE: 过滤掉异常节点,选择前20个(配置最大可选择节点数)保障当前shuffle下,每台被选中server承载的partition数尽量相等,不保障server端的partition均衡
  • LOAD_BALANCE: 结合shuffleServers实际负载指标进行分配,主要是磁盘使用率,内存占用率,活跃partition数量;优先选择负载低的节点
  • ROUND_ROBIN: 简单轮询从存活 server 列表依次挑选节点,不看 partition 数量、不看负载

被选中的server分配partiiton的策略
rss.coordinator.select.partition.strategy

  • CONTINUOUS 连续分区编号分配
  • ROUND: 轮询将分区打散
map
  • MapTask 处理数据,输出 K-V shuffle 记录,使用 spark.rss.writer.buffer.size(默认 3MB)作为发送缓冲区缓冲区写满 / Map 任务结束 → 打包成一个 Block 根据 partitionId 哈希路由,将 Block 通过 Netty 发送至对应的 ShuffleServer
    备注:不排序
server

ShuffleServer 接收 Block,内存缓存 + Flush 溢写磁盘
单次 flush 的 Block 在文件内连续;多次交替 flush 造成同 Partition Block 被其他分区隔断 → 全局无序,存在碎片化,单个块内有序

reduce

Reduce 启动,创建 RSS ShuffleReader -> Reduce 根据自己分区id,计算出shuffleServer地址 -> 向相关数据的 ShuffleServer发起读取请求 -> 接收所有该分区的数据执行后续的计算过程

  • 归并排序将拉取到的文件块排序
  • 开始join等其他计算

内存给的650G, g1回收器,rss flush 条件

  1. 单个分区写磁盘块数量 10万 -> 25000
  2. 单个分区写磁盘数据量 rss.server.single.buffer.flush.threshold 1G
  3. 全局 shuffle 内存达到高水位 85% ->80%
    溢写磁盘是文件块内部有些,文件块与块之间时无序的,server溢写后文件是shuffle文件 + index

优点:

  1. 解耦计算与 shuffle 存储
  2. 整块文件读写大幅优化IO、 比如选用更高性能的磁盘,ssd统一机型扩缩容维护也方便
  3. 开启动态分配资源,提升资源利用率

附录:

# 旧版RPC服务端口,GRPC_NETTY模式下不再承担业务数据流量,仅用于部分兼容管理接口
rss.rpc.server.port 9999

# Jetty HTTP服务端口;提供WebUI监控页面、prometheus metrics指标、http管理接口
rss.jetty.http.port 9998

# 本地磁盘shuffle数据根目录,多块磁盘逗号分隔;data/index文件分散写入各个磁盘
rss.storage.basePath /SDATA/1/rssdata-9999,/SDATA/2/rssdata-9999,/SDATA/3/rssdata-9999,/SDATA/4/rssdata-9999

# 存储类型:内存buffer优先,溢写落到本地磁盘;本地磁盘水位触达后自动降级写入HDFS冷存储
rss.storage.type MEMORY_LOCALFILE_HDFS

# Coordinator集群地址;ShuffleServer向Coordinator注册;客户端从Coordinator获取可用ShuffleServer列表
rss.coordinator.quorum as-rss9-coordinator-1.int.asd.local:19999,as-rss9-coordinator-2.int.asd.local:19999

# App心跳过期回收时间,单位ms;App无心跳超过该时间,回收该App全部内存buffer、磁盘shuffle文件
rss.server.app.expired.withoutHeartbeat 120000

# Shuffle写入堆外内存池总上限;所有PartitionBuffer从该内存池分配;LAB模式下为操作系统堆外内存,非JVM堆内存
rss.server.buffer.capacity 650gb

#rss.server.read.buffer.capacity 20gb
#Shuffle读缓存大小,注释未开启;用于reduce读取block时page cache缓冲

# flush线程池空闲线程存活时间,单位秒;空闲超时后回收线程
rss.server.flush.thread.alive 5

# 写本地磁盘localfile的flush线程池大小,负责PartitionBuffer刷写到本地data/index文件
rss.server.flush.localfile.threadPool.size 140

# 写HDFS冷存储线程池大小;本地盘降级后block写入HDFS使用该线程池
rss.server.flush.hadoop.threadPool.size 100

# GRPC‑Netty RPC业务线程池大小;处理PushData、getShuffleIndex、readShuffleData等RPC请求
rss.rpc.executor.size 100

# 文件预分配过期时间,单位ms;写localfile时预分配磁盘空间,长时间无数据则释放预分配空间
rss.server.preAllocation.expired 60000

# 单App单Shuffle总数据阈值;超过该阈值后续block直接写入HDFS冷存储,避免打满本地磁盘
rss.server.flush.cold.storage.threshold.size 1000g

# 单块磁盘允许RSS使用的最大容量;到达该容量参与存储降级判断
rss.server.disk.capacity 1300g

# 磁盘健康最低剩余空间百分比;磁盘剩余空间低于该值标记为不健康,不再分配新shuffle写入
rss.server.health.min.storage.percentage 50

# 混合存储降级策略实现类;本地磁盘水位触发后,新shuffle block轮转写入HDFS冷存储
rss.server.hybrid.storage.fallback.strategy.class org.apache.uniffle.server.storage.RotateStorageManagerFallbackStrategy

#rss.server.memory.shuffle.lowWaterMark.percentage 75
#rss.server.memory.shuffle.highWaterMark.percentage 85
#旧版双水位配置,已注释,当前使用三段式水位

# LAB内存池低水位百分比;全局spill溢写,内存下降到此水位停止溢写
rss.server.memory.shuffle.lowWaterMark.percentage 75

# LAB内存池冲洗水位百分比;内存占用达到该水位,开始主动执行spill溢写
rss.server.memory.shuffle.flushWaterMark.percentage 80

# LAB内存池高水位百分比;危急水位,加大溢写力度,开启Netty背压,限制上游map推送速度,保护服务
rss.server.memory.shuffle.highWaterMark.percentage 90

# ShuffleBufferManager内存水位检测定时扫描间隔,单位ms;定时判断是否需要执行spill溢写
rss.server.shuffleBufferManager.trigger.flush.interval 2000

# RPC实现类型;GRPC_NETTY使用GRPC+Netty,新版本高性能数据读写实现
rss.rpc.server.type GRPC_NETTY

# Netty‑GRPC核心数据端口;Mapper PushData、Reduce ReadShuffleData全部走此端口
rss.server.netty.port 19996

# 开启单partition超大buffer独立flush;倾斜大分区不等全局内存水位,自身达到阈值主动刷盘
rss.server.single.buffer.flush.enabled true

# PartitionBuffer底层存储实现;SKIP_LIST,配合LAB堆外内存池,替代旧LinkedListBuffer,适合大内存场景
rss.server.shuffleBuffer.type SKIP_LIST

# Huge‑Partition大分区判定阈值;单个reduce分区累计数据超过该值标记为超大分区,启用特殊保护逻辑
rss.server.huge-partition.size.threshold 20g

# 单partition buffer字节阈值;单个reduce分区内存buffer达到该阈值,强制flush落盘,防止倾斜分区吃光内存池
rss.server.single.buffer.flush.threshold 1g

# 开启Netty epoll;Linux原生IO模型,提升网络IO性能,仅Linux系统生效
rss.server.netty.epoll.enable true

# 开启磁盘容量水位定时检测;定时检测各个磁盘使用情况,判断磁盘健康状态
rss.server.disk-capacity.watermark.check.enabled true

# 磁盘使用百分比高水位;磁盘RSS占用达到该百分比,触发存储降级,新数据不再写本地盘,写入HDFS
rss.server.high.watermark.write 90

# 开启LAB(Local Allocator Buffer)堆外内存池;shuffle接收buffer分配在堆外,规避JVM GC压力,大内存服务必开
rss.server.shuffleBuffer.lab.enable true

# LAB内存池chunk块大小;所有partition buffer由该大小chunk拼接而成
rss.server.shuffleBuffer.lab.chunk.size 1048576

# LAB空闲chunk池容量占总buffer.capacity比例;空闲chunk超过该比例,内存归还操作系统,降低堆外内存虚高
rss.server.shuffleBuffer.lab.chunkPool.capacity.ratio 0.3

# 开启服务健康检查;检测磁盘、内存状态,不健康磁盘自动隔离,不再接收新shuffle写入
rss.server.health.check.enable true

# 单partition内存block对象数量阈值;单分区内存block对象达到该阈值,即使字节未达阈值,也主动flush,防止元数据爆炸
rss.server.single.buffer.flush.blocksNumberThreshold 25000

# 内存中block对象最大总数量上限;即使内存字节未到水位,block对象数达到该阈值强制spill,防护大量小分区元数据OOM
rss.server.buffer.blockCount.capacity 80000000

# TopN应用shuffle数据统计刷新间隔,单位ms;WebUI展示shuffle资源消耗top应用
rss.server.topN.appShuffleDataSize.refreshIntervalMs 10000

#rss.storage.localFileWriterClass org.apache.uniffle.storage.handler.impl.LocalFileNioWriter
#本地文件写入实现,注释未启用;默认mmap,开启后使用FileChannel NIO写文件

#rss.server.huge-partition.memory.limit.ratio 0.02
#huge‑partition最大占用总buffer.capacity占比,注释未启用,用于限制超大分区内存占用

# 单次全局spill溢写最多挑选partition buffer数量;限制单次刷盘数量,避免瞬时大量flush造成IO风暴
rss.server.buffer.flush.batch.max 1000

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容