240 发简信
IP属地:山东
  • 源码解析之checkpoint:rdd/streaming都是如何实现的?以及作用都是什么?

    前言 之前知道checkpoint是在job执行后完成的,一直没理解原理。后来用spark streaming后更迷惑了,众所周知有些时候需要保...

  • spark streaming源码分析之job、rdd、blocks之间是如何对应的?

    假设你已经了解job是如何被划分及提交的,若不了解请前往spark streaming 流程详解 当前位置是JobGenerator类的gene...

  • spark streaming源码分析之DStreamGraph 详解

    更多关注spark streaming源码分析之流程详解 DStreamGraph的作用是什么呢? DStreamGraph通过持有所有的inp...

  • spark streaming源码分析之JobScheduler 详解

    jobGenerator做了哪些事情呢? 持有一个定时器实例 这个定时器会依据batchDuration提交GenerateJobs消息,也就是...

  • spark streaming源码分析之ReceiverTracker详解

    我们关注的问题是数据是怎么被接收的?又是怎么存储的? 数据是被executor上的线程receiver接收的,接收之后交由executor上的线...

  • spark源码阅读之shuffleManager

    1、shufflemanager的实现类:sortshufflemanager Spark 0.8及以前 Hash Based Shuffle ...

  • spark streaming杂记

    checkpoint: checkpoint都放啥子? Metadata checkpointing : 保存流计算的定义信息到容错存储系统如 ...