240 发简信
IP属地:黑龙江
  • Resize,w 360,h 240
    kafka系列第5篇:一文读懂消费者背后的那点"猫腻"

    前言 经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。 ​文...

  • Resize,w 360,h 240
    Kafka系列第4篇:消息发送背后网络操作的那点事儿

    ​前言 上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事,并提出了消息发送的网络模型的问题。本篇文章我们...

  • Resize,w 360,h 240
    Spark内核分析之BlockManager工作原理介绍

    最近一直在忙,没顾得上写文章,新年的第一篇文章,希望大家可以喜欢;好了,今天接着之前的内容,来聊聊BlockManager的工作原理,上图来分析...

  • Resize,w 360,h 240
    Spark内核分析之Shuffle操作流程(非常重要)

    如题,我们来分析一下spark的shuffle操作原理;为什么说其非常重要,是因为shuffle操作是我们在Spark调优中非常重要的一环,对s...

  • Resize,w 360,h 240
    Spark内核分析之DAGScheduler划分算法实现原理讲解(重要)

    接着上一篇,我们接着来分析下一个非常重要的组建DAGScheduler的运行原理是怎么实现的;通过之前对Spark的分析讲解,我们的Spark作...

  • Resize,w 360,h 240
    Spark内核分析之Worker原理分析

    接着上篇的Schedule调度内容,本篇我们来看看Driver,Application向Worker发送launch以后到底发生了什么。先来看看...

  • Resize,w 360,h 240
    Spark内核分析之Scheduler资源调度机制

    上一篇我们阐述了Driver,Application,Worker的注册实现原理,本篇我们来接着聊聊Driver,Application在注册之...

  • Resize,w 360,h 240
    Spark内核分析之Master的注册机制实现原理

    这篇文章我们来讨论一下Master的注册机制;那么有哪些信息需要注册到Master上面去呢?很简单,分别有Worker的注册,Driver的注册...

  • Resize,w 360,h 240
    Spark内核分析之Spark的HA源码分析

    Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而s...

个人介绍
do something for myself