Kafka的零拷贝技术

kafka中的消费者在读取服务端的数据时,需要将服务端的磁盘文件通过网络发送到消费者进程,网络发送需要经过几种网络节点。如下图所示:

传统的读取文件数据并发送到网络的步骤如下:

  • (1)操作系统将数据从磁盘文件中读取到内核空间的页面缓存;
  • (2)应用程序将数据从内核空间读入用户空间缓冲区;
  • (3)应用程序将读到数据写回内核空间并放入socket缓冲区;
  • (4)操作系统将数据从socket缓冲区复制到网卡接口,此时数据才能通过网络发送。

通常情况下,Kafka的消息会有多个订阅者,生产者发布的消息会被不同的消费者多次消费,为了优化这个流程,Kafka使用了“零拷贝技术”,如下图所示:

“零拷贝技术”只用将磁盘文件的数据复制到页面缓存中一次,然后将数据从页面缓存直接发送到网络中(发送给不同的订阅者时,都可以使用同一个页面缓存),避免了重复复制操作。

如果有10个消费者,传统方式下,数据复制次数为4*10=40次,而使用“零拷贝技术”只需要1+10=11次,一次为从磁盘复制到页面缓存,10次表示10个消费者各自读取一次页面缓存。

原文

https://www.jianshu.com/p/835ec2d4c170

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • kafka中的消费者在读取服务端的数据时,需要将服务端的磁盘文件通过网络发送到消费者进程,网络发送需要经过几种网络...
    阿猫阿狗Hakuna阅读 26,588评论 3 29
  • Design 1. Motivation 我们设计Kafka用来作为统一的平台来处理大公司可能拥有的所有实时数据源...
    BlackManba_24阅读 5,269评论 0 8
  • 1、流式数据处理的利器 Kafka 最初是 LinkedIn 的一个内部基础设施系统。 本质上是“数据架构”的一部...
    pig250阅读 4,262评论 0 2
  • Kafka除了具备消息队列MQ的特性和使用场景外,它还有一个重要用途,就是做存储层。 用kafka做存储层,为什么...
    消失er阅读 10,216评论 0 13
  • KAFKA推送消息用到了sendfile,落盘技术用到了mmap,DMA贯穿其中。 先说说零拷贝 零拷贝并不是不需...
    胖虎大哥阅读 14,955评论 2 27