spark 0.2版本与0.1版本相比较,RDD增加了groupBy算子,并丰富了PariRDD的算子(reduceByKey、combineB...
Spark 0.1是spark开源的第一个版本,本文主要从组成类、如何触发执行、如何具体执行这几个方面进行分析。 主要组成类: 1.RDD,其中...
ConcurrentHashMap简介: ConcurrentHashMap是线程安全且高效的HashMap,使用锁分段技术提高并发访问率; C...
基本概念: 锁:控制多线程并发访问资源;队列同步器:管理同步状态,实现锁;同步状态:同步器的操作对象,int类型;同步队列:同步器通过同步队列管...
线程的优先级: 线程的优先级越高,占用CPU的能力越强; 线程中断: 调用线程对象的interrupt()函数后,线程并不会立即中断,而是将线程...
上下文切换: CPU切换线程时就产生了一次上下文切换; Java如何实现原子操作: 锁和CAS操作; happens-before规则:前一个操...
题目 题目内容 实现一个基于发布/订阅模型的消息中间件,功能要求如下: broker保证消息落盘后才向producer返回发送成功的ack,并把...
题目 题目内容 Topic类似于水坝(蓄积功能,消峰填谷之利器),Queue类似于水渠;每当新建一个Queue的时候,可以选择绑定到几个Topi...
1、Schema的定义 通过StructType和StructField等API来定义Schema。 StructType的构造器:new St...