1.1、 分配更多资源 1.1.1、分配哪些资源？ Executor的数量 每个Executor所能分配的CPU数量 每个Executor所能分...
投稿
收录了13篇文章 · 6人关注
-
SPARK优化
-
spark源码之stage划分，stage、task提交任务首先在Driver端启动：每一个算子都对应一个新的RDD（没有优化，new了很多对象很耗内存）：hadoopRDD——》MapPartiti...
-
Spark 多个Stage执行是串行执行的么？上次在做内部培训的时候，我讲了这么一句： 一个Job里的Stage都是串行的，前一个Stage完成后下一个Stage才会进行。 显然上面的话是不...
-
Scikit-learn使用总结
在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。学习使用sc...
-
Spark的位置优先: TaskSetManager 的有效 Locality Levelsbased on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages t...
-
『DT_Spark』Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析
Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark St...
-
Spark排错与优化
一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是ma...
-
[培训]Spark大型项目实战：电商用户行为分析大数据平台（高端大数据项目实战课程）_北风网Spark大型项目实战：电商用户行为分析大数据平台（高端大数据项目实战课程）_北风网http://www.ibeifeng.com/goods-...
-
Spark在美团的实践问题导读: 1、美团离线计算平台架构都有那些框架？ 2、为什么要使用spark架构？ 3、spark推广过程中需要注意那些方面？ 前言 美团是数...
-
Spark map-side-join 关联优化
将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有...
专题公告
spark
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/307484/1480636017.jpg', '推荐专题《spark》（ 分享自 @简书 ）','http://39.103.169.235/c/3245b2080b6f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}