上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker： ...
投稿
收录了12篇文章 · 83人关注
-
11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究 -
spark streaming源码解读之基于贯通Spark Streaming流计算框架的运行源码
1在线动态计算分类最热门商品案例回顾与演示 我们用SparkStreaming+SparkSQL来实现分类最热门商品的在线动态计算。代码如下： ...
-
Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考
一：Receiver启动的方式设想 1.Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driv...
-
『 Spark 』6. 深入研究 spark 运行原理之 job, stage, task写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个...
-
通过案例对spark streaming透彻理解三板斧之一spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其实是构建在sparkcore之上的...
-
一次微信升级引发的思考原文： 一次微信升级引发的思考 1. 先看看升级前[6.1]和升级后[6.2]的区别 升级前：6.1 升级后： 6.2 2. 我对这次升级的第一...
-
『 读书笔记 』4月读书总结｜博文推荐原文链接：『 读书笔记 』4月读书总结｜博文推荐 写在前面 计划是每月读 5-10 本书，书籍类型大概是三个方面的：金融，技术，管理。之所以选择...
-
『 Spark 』5. 这些年，你不能错过的 spark 学习资源
原文链接：『 Spark 』5. 这些年，你不能错过的 spark 学习资源 写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ ...
-
『 Spark 』4. spark 之 RDD原文链接 写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。...
-
『 Spark 』2. spark 基本概念解析原文：『 Spark 』2. spark 基本概念解析 写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解...
专题公告
个人实践spark过程中的一些心得
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/247486/spark-programming-model.jpg', '推荐专题《spark-in-action》（ 分享自 @简书 ）','http://39.103.169.235/c/860946588311?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}