新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
发简信
IP属地：浙江
-
spark2.x--7. 内存管理之StaticMemoryManage1. MemoryManager Spark的内存主要分为管理储存(Storage)和执行(Execution)，ExecutionMemory是指 Shuffles，joi...
-
Spark2.x---6. Spark Yarn Client模式解析最近在定位Yarn的crash问题时，顺便把spark怎么使用yarn的好好的梳理了一遍。不过我先了解一下Yarn和怎么提交yarn的job的。 首先我们先看看Yarn的架构...
-
-
-
Spark2.x---5. Executor模块
Executor模块是负责运行Task计算任务，并将结果返回给Driver，尽管Spark支持多种资源调度框架，比如mesos，yarn，standalone，这些资源框架在...
-
-
-
-
-
