240 发简信
IP属地:浙江
  • 120
    Spark内存管理

    Spark 1.6之后采用一种新的内存管理设计模式Uniffied Memory Manager,并且在接下来的版本中不断的完善这种内存管理模型。 Spark 内存主要分为...

  • 关于 spark context 初始化TaskScheduler和SchedulerBackend(针对外部调度框架)

    这边 是如何将 回答:通过getClusterManager 方法中的: 先加载所有ExternalClusterManager的实现类,然后根据方法中的canCreate方...