阿里巴巴技术专家<br>需要内推阿里，蚂蚁金服，菜鸟的可以私信联系我<br><br>全栈开发<br>机器学习爱好者<br><br>单词量早日上2w
发简信
IP属地：北京
-
Java中的多线程你只要看这一篇就够了引 如果对什么是线程、什么是进程仍存有疑惑，请先Google之，因为这两个概念不在本文的范围之内。 用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都...
-
@大象也能学会跳舞 是我疏忽了，应该是2M，已经修正过来了，感谢指正。
Spark-Core源码精读(14)、Shuffle--Write部分
前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
@大象也能学会跳舞 基本上也就上面提到的这几点：迭代计算、数据重用、数据本地性原则、线程池复用、高效容错...详细的原理建议多看一下Spark的源码，阅读的过程中就会产生自己的理解，Spark中很多思想都值得我们去借鉴，除了性能方面，相比于Hadoop而言，Spark的API更加的友好。
另外建议阅读源码的时候每次都要明确自己的主线及主要的目的，然后沿着这条主线追踪源码，不能被其他的分支干扰，否则很容易迷失Spark-Core源码精读(14)、Shuffle--Write部分
前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
@大象也能学会跳舞 数据重用是一方面，还有更好的位置感知，Executor中线程池复用运行Task，高效的容错机制等等。
Spark-Core源码精读(14)、Shuffle--Write部分
前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
写磁盘也是进行一次性顺序的写入，相对于随机写入是很快的。其实Spark最大的优势不是基于内存，擅长迭代式计算才是Spark真正的精髓，希望我的回答对您有所帮助。
Spark-Core源码精读(14)、Shuffle--Write部分
前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
英文GIF秀：看爆笑GIF,学地道英语001
Let's put an end to black on black violence: The 'force' is a powerful thing: Fun with ...
-
Spark Streaming Crash 如何保证Exactly Once Semantics
这篇文章只是为了阐述Spark Streaming 意外Crash掉后，如何保证Exactly Once Semantics。本来这个是可以直接给出答案的，但是我还是啰嗦的讲...
-
Spark-Core源码精读(15)、Shuffle--Read部分上一篇文章我们分析了Shuffle的write部分，本文中我们来继续分析Shuffle的read部分。 我们来看ShuffledRDD中的compute方法： 可以看到首先调...
-
Spark-Core源码精读(14)、Shuffle--Write部分前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
深入理解 Scala 中的闭包（Closures）摘要 本文通过 Scala 语言来实现一个简单的闭包，并且通过 Opcode 来深入理解 Scala 中闭包的实现原理。 一个简单的例子 闭包，简单的理解就是：函数内部的变量...
-
Spark-Core源码精读(13)、Task的运行流程分析上一篇文章我们着重分析了Task的提交过程，本文中我们将对Task的运行进行详细的分析。 我们从CoarseGrainedExecutorBackend接收到CoarseGr...
-
Spark-Core源码精读(12)、Task的提交流程分析
上一篇文章我们谈到，DAGScheduler将Job划分成由Stage组成的DAG后，就根据Stage的具体类型来生成ShuffleMapTask和ResultTask，然后...
-
Spark-Core源码精读(11)、Stage的划分过程和Task数据本地性本文将主要讨论两个Topic：Stage的划分过程和Task数据本地性 引子 前面的文章中我们已经分析了Spark应用程序即Application的注册以及Executors...
-
Spark-Core源码精读(10)、注册Application及Executors的启动注册流程(二)承接上一篇文章，我们继续来分析Executor的启动过程，本文主要分为两部分： 向worker发送启动Executor的消息 启动完成后向driver发送ExecutorAd...
-
Spark-Core源码精读(9)、注册Application及Executors的启动注册流程(一)接下来的几篇文章我们会结合源码来分析注册Application以及启动Executor并向Driver注册的具体流程。 上文我们跟踪源码到了SparkDeploySchedu...
-
Spark-Core源码精读(8)、TaskScheduler和SchedulerBackend从本文开始，我们进入Spark中的调度部分，首先本文将对TaskScheduler和SchedulerBackend的实现原理进行分析。 我们从SparkContext中的源...
-
@博客小白菜 用的是Excel，没有使用专业的制图软件。
Spark-Core源码精读(5)、Spark内核架构概述
前面的文章中我们分析了Spark的部署模式和提交程序的流程，也分析了Master中schedule方法在感知到资源变化或者有新的应用程序提交时，启动Driver和Execut...
