240 发简信
IP属地:上海
  • Linux 指令之安装软件

    在 Linux 上安装软件应该去官网下载比较好,比如去 JDK 的官网下载 JDK ,会给出这样的下载列表。 对于 Linux 系统来说有三个安...

  • Linux 指令之用户和密码

    1,修改密码的指令为:passwd 按照这个命令可以输入新密码。 2,创建用户的指令为:useradd 执行这个指令,一个用户就会被创建了。接下...

  • JVM 堆内存模型与 GC 策略

    Java 中堆内存是 JVM 管理内存中最大的一块内存,同时又是 GC 管理的重要区域。 Java 堆内存主要分成两个区域: 1,年轻代。年轻代...

  • Spark 源码分析(九): Task 启动

    前面已经分析到了 DAGScheduler 对 stage 划分,并对 Task 的最佳位置进行计算之后,通过调用 taskScheduler ...

  • Spark 源码分析(八):DAGScheduler 源码分析2(task 最佳位置计算)

    前面一篇文章已经讲了 DAGScheduler 中的 stage 划分算法。 实际上就是每当执行到 RDD 的 action 算子时会去调用 D...

  • Spark 源码分析(七): DAGScheduler 源码分析1(stage 划分算法)

    前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动,然后执行 main 方法,初始化 SparkContext 对象。 在初...

  • Spark 源码解析(六): 向 driver 注册 Executor

    前一篇文章介绍了 Executor 进程的启动,最后启动的是 CoarseGrainedExecutorBackend,执行启动命令后会执行它的...

  • Spark 源码分析(五): Executor 启动

    上一篇已经将 Application 注册到了 master 上了,在 master 收到注册消息后会进行一系列操作,最后调用 schedule...

  • Spark 源码分析(四): Application 的注册

    在前面一篇文章中分析到了 SparkContext 中的 TaskScheduler 创建及启动。 在 StandaloneSchedulerB...