1.问题：项目中使用 spark save parquet 到 impala( impala 为分区表 ) 的目录下面，然后在 impala 中...
投稿
收录了60篇文章 · 232人关注
-
spark save parquet in impala dir not support add columns
-
spark浅谈学习和使用一段时间的spark， 对spark的总结一下，希望对大家有用，不介绍怎么使用， 只从设计上谈谈。 spark解决了什么问题？ 说sp...
-
Coarse Grained究竟是什么意思？
Spark的Driver本身就是Scheduler，完整的类名叫做CoarseGrainedSchedulerBackend，为什么叫Coars...
-
Spark学习（一）——入门与集群搭建现在来学一学spark这个内存计算引擎，主要应用于大规模数据的计算。 一、简介 和MapReduce都是计算引擎，但两者还是有很大区别的，Map...
-
Spark 共享变量
翻译 Spark 共享变量部分的官方文档（Spark 2.4.3）。 通常，当传递给 Spark 操作 (如 map 或 reduce ) 的函...
-
netty源码走读(服务端Channel创建流程)
概念： NioEventLoop： Channel: ByteBuf: PipeLine: ChannelHandler: 服务器端启动流程： ...
-
spark底层源码解析之作业提交:
作业的提交做的主要的事情是:通过提交的最后一个rdd的依赖关系来划分stage,在再将stage转换成task,由diver端发送给一个个的将t...
-
Spark RDD上的map operators是如何pipeline起来的？最近在工作讨论中，同事提出了这么一个问题：作用在一个RDD/DataFrame上的连续的多个map是在对数据的一次循环遍历中完成的还是需要多次循...
-
spark底层源码解析之通信:
这是本人第一次发表技术帖,借鉴了很多大神的文章和自己的一些拙见,有什么不正确的大家可以指出来,共同进步 Spark底层RPC通信:记住这里是以事...
-
spark+hadoop环境搭建硬件：Ubuntu16.04 server 2台软件版本：hadoop-2.6.5.tar.gzjdk-8u191-linux-x64.tar....
专题公告
该专题主要介绍和记录，笔者在学习spark过程中的总结和要点记录。笔者也是刚刚接触spark，所以会从最基础的环境搭建开始介绍，逐步过渡到对spark的深入学习。
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/265659/0.jpg', '推荐专题《Spark学习之路》（ 分享自 @简书 ）','http://39.103.169.235/c/2df17d48f138?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}