SortShuffleManager两种运行机制 SortShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是bypass运行机制；普通机制： b...
IP属地：四川
-
Spark之SortShuffle -
Spark-streaming监控批次处理信息
实时任务监控原因 在实时任务执行的过程中，由于数据突然激增或网络阻塞等情况，使得任务数据堆积或失败等 解决办法 通过实现SparkListener和StreamingList...
-
Spark-sql优化器之PruneFileSourcePartitions修改问题 在spark-sql中使用此种 partition BETWEEN 'start' AND 'end' OR (partition = 'other' AND colu...
-
Spark-sql读取hive分区表限制分区过滤条件及限制分区数量问题描述 在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过...
-
Spark-sql中时间格式类型推导问题在使用Spark-sql开发过程中有时候没有注意数据类型，导致程序本身进行数据类型推导，使得任务执行能正常执行（无报错信息）但程序无数据输出； 例如执行如下代码 由...
-
[Spark SQL] 源码解析之Analyzer
前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved LogicalPlan; analyze...
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
