发简信
IP属地：北京
-
Spark Streaming资源动态申请和动态控制消费速率原理剖析
Spark是粗粒度的，即在默认情况下会预先分配好资源，再进行计算。 好处是资源提前分配好，有计算任务时就直接使用计算资源，不用再考虑资源分配。 ...
-
Spark Streaming源码解读之数据清理内幕彻底解密
SparkStreaming应用是持续不断地运行着的。如果不对内存资源进行有效管理，内存就有可能很快就耗尽。 SparkStreaming应用一...
-
Spark Streaming源码解读之No Receivers彻底思考
前面的课程中主要是使用ReceiverInputDStream，是针对Receiver方式开展的剖析。 企业级Spark Strea...
-
Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密
从这节课开始，简介Spark Streaming的状态管理。 SparkStreaming 是按BatchDuration来划分Job的，但我们...
-
spark streaming源码解读之基于贯通Spark Streaming流计算框架的运行源码
1在线动态计算分类最热门商品案例回顾与演示 我们用SparkStreaming+SparkSQL来实现分类最热门商品的在线动态计算。代码如下： ...
-
Spark Streaming源码解读之Driver容错安全性
从数据层面，ReceivedBlockTracker为整个SparkStreaming应用程序记录元数据信息。 从调度层面，DStreamGra...
-
Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考
Spark Streaming应用程序有以下特点： 1. 不断持续接收数据 2. Receiver和Driver不在同一节点中 Spark...
-
Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考
一：Receiver启动的方式设想 1.Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driv...
-
Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
RDD的三个问题 1.RDD到底是怎么生成的 2.具体执行的时候，是否和基于Spark Core上的RDD有所不同，runtime级别的 3.运...