一个永远在路上的架构师，具备前沿架构视野，了解大数据起步手法，擅长后端路段的平稳驾驶，熟悉代码的保养和维修
发简信
IP属地：上海
-
-
Spark Core 概念学习
通过对spark core的核心概念学习，可以更好的了解spark的运行机制和生命周期 基本概念： Application: spark应用程序，一个应用程序由一个driv...
-
Spark CBO调优
操作场景 SQL语句转化为具体执行计划是由SQL查询编译器决定的，同一个SQL语句可以转化成多种物理执行计划，如何指导编译器选择效率最高的执行计划，这就是优化器的主要作用。传...
-
Spark Core 性能调优总结
使用 mapPartitions,按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toStri...
-
Spark Core 性能调优之配置进程参数
操作场景 Spark onYARN模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Exe...
-
Spark Core 性能调优之资源动态调度（Yarn模式下）
操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可...
-
Spark Core 性能调优之使用External Shuffle Service提升性能
操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffl...
-
Spark Core 性能调优之使用广播变量
操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使...
-
Spark Core 性能调优之设置并行度
操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使...
-
Spark Core 性能调优之配置内存
操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小...
-
Spark Core 性能调优之数据序列化
操作场景 spark支持两种方式的序列化： ● Java 原生序列化 JavaSerializer ● Kryo 序列化 KryoSerializer 序列化对于 Spa...
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
-
-
-
欢迎java爱好者一起交流探讨
-
Look, see, and observe<br><br>版权合作事宜请联系行距文化：pub@hangju-pub.com
-
-
-
旧诗行
