240 发简信
IP属地:辽宁
  • Resize,w 360,h 240
    Spark on Yarn2.2.0资源分配

    写在前面的 文章修改自Spark1.3.0版本: 参数 本文主要讨论Spark on Yarn内存分配情况,所以只需要关注以下几个内心相关的参数...

  • Spark Core3--Shuffle

    详细过程美团相关文章

  • Resize,w 360,h 240
    Spark Core2--LineAge

    Lineage RDD Lineage(又称为RDD运算图或RDD依赖关系图)是RDD所有父RDD的graph(图)。它是在RDD上执行tran...

  • Spark Core1--核心概念

    术语 application用户构建在 Spark 上的程序。由集群上的一个 driver 程序和多个 executor 组成。 Driver ...