sqoop的功能架构 sqoop是能够在hdfs和关系型数据库之间进行数据量大的数据转换工具，底层运行的是mapreduce项目，是Apache...

认识HDFS HDFS的特点： 高容错性高吞吐量故障的检测和自动快速恢复流式的数据访问大数据集一次写入,多次读写 HDFS不适用的场景 不支持大...

2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一...

一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash...

实验目的 理解Hive在Hadoop体系结构中的角色。 熟悉Hive的DDL命令与DML操作。 区分数据仓库和数据库的概念。 实验平台 操作系统...

整个shuffle的流程图 Map Shuffle的作用以及相应的设置 partition过程：输入的<key,value>对经过map()处理...

hdp2.4是hortworks最新推出的100%开源的hadoop发行版本，其中包含了最新的spark 1.6，冲着这点，使用离线方式安装最新...

hadoop是处理大数据的得力帮手，它主要分为三种模式: 单机模式；伪分布式模式；完全分布式模式； 在这篇文章中，主要来看看在CentOS7中进...

List集合 list是一个有序且可以重复的序列。 创建list集合 List(elem1, elem2...)这些元素可以不是同一类型 lis...