20篇文章 · 19458字 · 1人关注
-
使用JAVA-API访问开启kerberos集群下的HDFS
使用API访问开启安全Kerberos的Hdfs hadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客...
-
1.1 CentOS7安装cdh6.0.1详细文档首先，我强调一下，其实最主要的步奏都是参照 官网的 安装步奏进行 配置的。官网是 最好的解决方案，网上的很多博文只是用来参考，这点大家切记切记。...
-
18.例：MapReduce 案例之倒排索引1. 倒排索引 倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。 它主要是用来存储某个单词（或词组） 在一个文档或一组文档...
-
17.例：MapReduce 案例之Top N
MapReduce 案例之Top N 1. Top N Top-N 分析法是指从研究对象中得到所需的 N 个数据，并对这 N 个数据进行重点分析...
-
16.例：MapReduce 案例之数据去重
数据去重数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务...
-
15.例：mapreduce实现流量汇总排序程序
流量汇总程序开发，利用生成好的汇总过的文件接着来进行按照总流量由高到低排序。因为maptask的最终生成文件中的数据是已经排序过的，默认就是按照...
-
14.例：Partitioner与自定义Partitioner通过前面的学习我们知道Mapper最终处理的键值对<key, value>，是需要送到Reducer去合并的，合并的时候，有相同key的键/值对...
-
13.例：使用mapreduce进行流量汇总程序开发
现有文件关于流量文件内容如下 其中第二列表示手机号，倒数第三列表示上下流量，倒数第二列表示下行流量。要求：统计每个用户（手机号）所耗费的上、下行...
-
12.yarn基本架构和工作机制一、yarn基本架构 二、yarn工作机制 （0）Mr 程序提交到客户端所在的节点。 （1）Yarnrunner 向 Resourcemanag...
文集作者