接下来跟着上一篇, 解析情景七和情景八 情景七 写写读 首先线程1开始 说明此时队列中没有被阻塞的线程, hasQueuedPredecessors返回false 接下来回到...
发简信
IP属地：北京
-
ReadWriteLock之公平锁解析(四)
-
ReadWriteLock之公平锁解析(三)
接下来跟着上一篇, 解析情景五和情景六 情景五 写读读 回到tryAcquire方法 此时线程1获得写锁, 线程2开始执行 接下来回到acquireShared方法 此时线程...
-
ReadWriteLock之公平锁解析(二)
接下来跟着上一篇, 解析情景三和情景四 情景三 读写读 线程1的获得读锁的操作和情景一相同, 接下来从线程2开始分析 之后返回acquire方法 此时线程2开始执行 说明在队...
-
ReadWriteLock之公平锁解析(一)
接下来探讨ReadWriteLock的公平锁实现, 也是分如下场景分析 情景1 三个线程都是读 接下来回到tryAcquireShared方法中 此时线程1已经获取读锁, 接...
-
Hive(一)Hive产生背景 (1) 从开发、测试、需求变更角度来看，MapReduce编程不方便 (2) 传统关系型数据库人员的需要 (3) 如果数据在HDFS上，如果想要使用SQL来...
-
RDD持久化
官网介绍 One of the most important capabilities in Spark is persisting (or caching) a datas...
-
Spark共享变量共享变量分类 共享变量官网解释 Normally, when a function passed to a Spark operation (such as map or r...
-
Sequence File
代码中使用Sequence File 1.1 代码输出 1.2 上述代码存在的问题 1.3 对以上代码的改进 1.4 注意(1) 输出结果为 使用textFile函数对其进行...
-
-
Spark Components
Spark components示意图 1.1 spark component示意图解释(1) driver program内包含了sparkcontext对象 (2) sp...
-
Spark术语
Application User program built on Spark Consists of a driver program and executors on...
-
Spark shell
常用命令 1.1 --master 1.1.1 --master后接参数解析 (1) local Run Spark locally with one worker thre...
-
RDD(二)
class RDD源码解析 1.1 RDD源码 1.2 RDD类解释 1.3 RDD class中如何体现RDD的五大特性(主要是前三大特性) (1) 第一大特性(A lis...
-
RDD(一)这里unified指的是生态栈，包含了很多组件 概念 A Resilient Distributed Dataset (RDD), the basic abstraction...
-
wordCount执行过程中的源码解析wordCount程序流程图示rdd.png wordcount程序 2.1 collect函数 此时进入DAGScheduler类 根据debug程序可以知道jobSubm...
-
Spark调优
调优的原因 数据序列化 2.1 序列化的原因 2.2 Example2.2.1 Writable接口2.2.1.1 注释 2.2.1.2代码 2.2.1.3. 补充说明 2....