啥时候snappy可以分割了？？？
数仓--Hive-面试之Hive支持的文件格式和压缩格式及各自特点Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoo...
发简信
IP属地：上海
-
-
HBase编译安装(单机版)
1、环境描述 jdk：jdk1.8.0_45 maven：3.3.9 hadoop:2.6.0-cdh5.14.0 其他：因为前期编译过hadoop等组件，所以配套的git、...
-
spark学习二RDD（Core部分）
1、简介 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行...
-
spark学习一初识、编译、安装
spark简介： Spark学习之路 （一）Spark初识 - 扎心了，老铁 - 博客园 1、下载 地址：http://spark.apache.org/downloads....
-
kafka安装、使用
kafka运行需要zookeeper、scala2.11、jdk支撑 版本：kafka_2.11-0.10.0.1.tgz（2.11指的是scala版本，0.10.0.1才是...
-
Hive学习-高级版五（压缩和存储）hive的压缩本质上指的是MapReduce的压缩，因为hive其实就是MapReduce的高级语言版(SQL)，hive SQL底层的运行也都是解析成MapReduce程序...
-
Zookeeper学习-（原生API和Curator API）
原生API： package com.ruozedata.zookeeperimport org.apache.zookeeper.Watcher.Eventimport o...
-
Hive学习-高级版四（Hue使用）
hue的HA模式和非HA模式配置略有差别 安装： HUE安装及问题 - CSDN博客 hue 安装笔记 - CSDN博客 问题： 安装Hue后的一些功能的问题解决干货总结（博...
-
Flume学习二（数据采集场景模拟）1、单Agent模式 场景说明： source采用netcat（可以直接通过Telnet命令做数据测试），channel统一采用memory，sink在这里采用HDFS si...
-
Flume学习一（基本source、channel、sink）
默认命名如下： a1.sources = r1a1.sinks = k1a1.channels = c1 c2 c3 c4agent_name：a1 source_nam...
-
Hive学习-高级版三（元数据梳理）hive的数据分为两部分，一部分是真实的数据文件，存放在hdfs上，另一份是真实数据的元数据（即数据的描述信息，比如说存储位置、时间、大小之类的），一般存放在mysql中，存...
-
Hive学习-高级版二（map、array、struct数据类型）
1、array数据类型 创建表： 示例数据： 插入数据： size函数：查询数组长度（map类型也适用） 取数据： array_contains函数：判断数组是否包含指定元素...
-
Hive学习-高级版一（其他客户端使用介绍）
操作hive的方法前面只介绍了hive客户端方式，但是被官方定义为过时（虽然还是最常用的），其他操作hive的方式有beeline、webUI、JavaAPI(官方最推荐的方...
-
-
Hive学习-Hive基本操作（function、udf）该篇主要是为了整理常用的function使用和开发自定义function的，hive虽说语法类似于mysql，但是mysql默认的dual表并不存在，需要自己手动创建一下，为...
