hadoop(3)--测试hdfs和mr

原本订的最少两天一篇就要坚持,又到半夜12点了,才想起来要写一点东西,在这个时候能体会到阿里为什么要做一个技术公司了,回报社会,每个人都有这么一个阶段。废话少说,开始开车。

今天的东西很简单就是测试之前搭建的hdfs和mr

1,首先保证start-dfs.sh和start-yarn.sh这两个脚本执行成功,这个是前提

2,先从直观上认识一下hdfs,hdfs提供了一个网站可以看http://my01:50070


这个就是


点击上图按钮

点击上图按钮之后,


这里就可以看hdfs上面的东西了,好的,我们上传一个文件到hdfs上去


我将hadoop的安装包上传上去,好,到页面上看一下


刚刚上传的就成功了,这里有几个名词需要说明一下,size这个文件的大小,replication备份数量,之前配置的是1,block size这个块大小,这个版本默认128M,2.0之前默认64M,这样可以看出了一个hadoop-2.4.2.tar.gz被分成了两个块,这里多一句,谁分的呢?先告诉答案:客户端自己分的,不是hdfs分的,为什么,之后会说到

2,测试mr

hadoop安装包中有例子,这个是做程序的一个基本的意识


就在这个目录下面

运行一个pi,就是3.1415926这个东西

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 6


解释一下上面那就命令  5--5个map

   6---取样数量         取样越多执行的越接近


执行结果是3.6明显差距很大,把取样数改大看看

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 10



明显接近了,好了,今天就到这里了,今天早早睡了

望指正,不吝赐教

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容