IP属地:辽宁
调用SpringApplication.run方法 对run方法总结如下:1.获取创建SpringApplicationRunListener2...
standalone模式 master 负责集群资源的管理,主要负责worker的注册,driver的注册 worker 负责向master注册...
jdk1.8之后对HashMap做了很大的优化,把原有的(数组+链表)结构改成了(数组+链表+红黑树)。当链表的长度大于8的时候,自动转换成红黑...
RDD的依赖关系分为两种: 窄依赖(A>B) 定义:父RDD的一个分区最多被子RDD的一个分区依赖。有两中情况: 一对一的依赖 多对一的依赖im...
面试的时候经常问到。这里对jdk1.7的HashMap和ConcurrentHashMap原理进行分析。下篇将详细分析jdk1.8的实现。 1 ...
1.自动进行内存和磁盘存储的切换 spark会优先将数据存储在内存中,如果内存放不下,才把数据写入磁盘,不但能计算内存中的数据,也能计算内存放不...
RDD的存储机制: 其数据分布存储在多台机器上,都是以block的形式存储在服务器上。每个Executor都会启动一个BlockManagerS...