240 发简信
IP属地:江苏
  • 120
    Spark内存管理详解(下)——内存管理

    正文内容分为上下两篇来阐述,上一篇见《Spark内存管理详解(上)——内存分配》[https://www.jianshu.com/p/3981b14df76b] 3. 存储内...

  • SparkOnYarn的参数spark.yarn.executor.memoryOverhead

    spark.yarn.executor.memoryOverhead这个参数困扰了我很久,首先文档说它代表的是exector中分配的堆外内存,然而在创建MemoryManag...

  • spark -SQL 配置参数

    Spark-Sql的参数调优: 官网: http://spark.apache.org/docs/latest/sql-programming-guide.html 缓存表参...

  • Spark参数调优

    spark.shuffle.file.buffer 默认值:32k参数说明:该参数用于设置shuffle write task的BufferedOutputStream的bu...

  • 120
    Spark内存管理详解(上)——内存分配

    正文内容分为上下两篇来阐述,下一篇见《Spark内存管理详解(下)——内存管理》[https://www.jianshu.com/p/58288b862030] 引言 Spa...