hadoop开发应用 一、文件上传 创建input文件夹# hadoop fs -mkdir /input 上传文件到input文件夹下# hadoop fs -put d...
一、集群节点配置及服务 二、安装环境准备 1. 设置主机名和配置hosts 修改主机名执行指令:# hostnamectl set-hostname tinygao1# ho...
1、锁类型 jdk1.5之前1、内置锁2、volatile jdk1.51、ReentrantLock 2、区别 显式锁Lock 无条件的(不需要有一个互斥对象) 可轮询,由...
1、Executor接口 只有一个方法,void execute(Runnable command); 2、ExecutorService 因为Exectuor没有管理线程执...
上一节我们知道PageSourceProvider提供了获取hive split相关的信息,这一节,我们来看看是谁会使用它? 1、了解什么是page 一个Page有多个Blo...
1、从hive中拉数据 1.1 入口 :在presto指定根目录下/etc/catalog/hive.properties 1.2 读取配置文件 com.facebook...
1. 样例1 2.样例2 private static Interner pool = Interners.newWeakInterner();//这种在分布式系统中会有问...
1、看状态 2、看执行方法 ExecuteResource.java(@Path("/v1/execute")) 有没有发现跟上一节的很相似: QueryResource.j...
上一篇文章我们提到:SqlQueryManager。他是管理query语句创建、语法解析、查询状态的跟踪。 1、查询语句入口 也就是说,这一层是基于SqlQueryManag...
一、首先看到入口地方: 有三个状态:节点管理器、查询管理器、是否包含协调器 二、提供的服务: 三、ClusterStats状态有哪些? 此处我们可以知道此接口返回的是:运行查...
一、查询带有restful api的信息,我们发现都是以“Resource”结尾的类 首先我们先从NodeResource.java中的"/v1/node"下手,他有一个成员...
继上一个系列中: new PrestoServer().run(); 上面的服务模块很多,我们将一个一个来看,到底是干什么的? 不妨我们带着第一个问题来看代码:restful...
接上一篇博文,遗留了三个问题。第一个问题客户端请求的http://localhost:8080/v1/statement地址的服务是什么时候起来的 1、寻找服务器代码 一开始...