发简信
IP属地：浙江
-
Spark2x on yarn日志配置详解
概述 Spark on Yarn的日志配置分为两类： Spark on Yarn client模式 Spark on Yarn cluster模...
-
第三章 Yarn应用设计概述 Yarn是一个资源的管理系统，负责集群的管理及调度。如果想要一个应用运行在Yarn，需要编写两个组件： Client（客户端）客户端负责项...
-
第二章 Yarn基础库简介 与MRv1相比Yarn的设计要复杂得多。YARN借用了MRv1的一些底层基础库（如RPC库），又引入了很多新的设计方式，它的基础库更多，如...
-
第一章 Yarn简介简介 Yarn是Hadoop生态圈中的一个通用资源管理系统和调度平台，产生于Hadoop2。可为上层应用提供统一的资源管理和调度，它的引入为集群...
-
Docker容器通过宿主机安装JDK和MAVEN
1，下载jdk和maven JDK http://www.oracle.com/technetwork/java/javase/download...
-
Sqoop的使用
1，什么是Sqoop sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：可以从MySQL，Orac...
-
Hive的安装1 前期准备 1，需要搭建HDFS2，需要搭建MapReduce3，安装mysql( 其它数据库都可以),如果不是很清楚安装mysql，请查看 ...
-
Hadoop HA部署详解
1，前期准备 1 修改Linux主机名2 修改IP3 修改主机名和IP的映射关系 /etc/hosts4 关闭防火墙5 ssh免登陆6 安装JD...
-
Mapreduce的经典排序（快排 & 归并）1，快速排序 基本思想：选择一个基准元素,通常选择第一个元素或者最后一个元素,通过一趟扫描，将待排序列分成两部分,一部分比基准元素小,一部分大于...