hadoop(六)利用java接口来操作Hadoop

这节我们来学习如何将Hadoop与Java相结合进行开发,这也是大家学习大数据最后打交道最多的内容,毕竟Hadoop环境的搭建虽然复杂,但是一旦搭建好之后我们的任务便是在这个架构的基础上进行java代码的开发。

** 首先我们新建一个java工程,这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致,避免一些不必要的错误。由于我在搭建Hadoop环境时用的是jdk1.7,因此,我新建的java工程所用的JRE版本也是1.7,如下图所示,我们刚建完工程是只有src和JRE System Library。**

image

** 为了让java和hadoop相结合,肯定要导入hadoop相关的Jar包,为了很好的管理这些jar包,避免jar包直接显示在hadoop01目录下,那样看着很乱,不舒服。我们需要新建一个User Library。操作步骤是:点击Window-------->Preferences就会弹出如下对话框,我们在对话框的搜索框中输入user library,便会出现如下图所示的内容,我们再点击一下左边红色圈住的User Libraries,就会出现右边的内容,让你新建User Library。**

image

** 我们点击上图中右侧的New按钮,就会弹出如下图所示的对话框,由于我们要将java与hadoop相结合,因此我在name输入框中输入了hadoopJar,当然,你可以随意起一个你自己喜欢的名字,需要注意的是,蓝色标注的那一行的复选框不要勾选,否则工程就把我们引入的包当成系统包来处理了。输入完名字之后点击OK。**

image

** 点击Ok后我们会看到User Libraries里面多了一个hadoopJar的Library,我们接下来便要向这个Library里面添加jar包了,我们点击“Add External JARs...”,会弹出文件对话框,让你选择导入的jar。**

image

** 在说选择jar目录前我们先说一下我们需要的jar包,我们将下载好的hadoop-2.2.0.tar.gz(如果不知道怎么下载请参考第三课:http://blog.csdn.net/u012453843/article/details/52431742进行下载)解压,解压后就出现如下图所示的hadoop-2.2.0文件夹。**

image

** 我们接着说我们需要哪些jar包,刚开始开发,就多引入了些jar包,如下图所示,先导入了hadoop--->common目录下的jar包,选中那三个jar包之后,点击下面的“打开”即可。**

image

** 我们接着再导入hadoop----->common----->lib目录下的jar包,如下图所示。**

image

** 我们接着再导入hdfs目录下的jar包,如下图所示。**

image

** 包都导完之后,我们点击下图中的OK按钮。**

image

** 创建完hadoopJar之后,我们需要将它引入到工程中来,我们点击工程名------->右键,在下拉菜单中鼠标放到Build path上-------->会出现Configure Build path...,我们点击这个Configure Build path...。在弹出的对话框中我们点击Add Library,然后又弹出一个对话框,我们点击User Library,然后点击Next,如下图所示。**

image

** 点击Next后会进入到如下图所示界面,我们勾选上hadoopJar,并且点击下面的Finish。然后我们再点击Java Build Path那个页面的OK。这样hadoopJar这个Library便被我们成功引入到工程中去了。**

image

** 引入hadoopJar这个User Library后,我们再来看看工程目录,如下图所示,发现确实多了一个Library。**

image

** 前面说了这么多东西都是为Java和Hadoop结合做准备的,下面我们正式进入主题。我们新建一个类,叫HDFSDemo1,如下图所示,我们先来测试一下从HDFS上下载的功能。我们在HDFS系统的根目录下有一个jdk1.7的文件,我们现在想把它下载到本地D://Hadoop目录下。下面代码中,IOUtils的第三个参数值4096是很多大师级人物在写文件读取时常用的值(4k),第四个参数true的意思是文件写完后返回true。**

image

** 在执行上面的代码之前,我们先看看D盘Hadoop目录下是否有jdk1.7这样的文件,如下图所示,我们发现并没有jdk1.7这样的文件。 **

image

** 接下来我们开始执行上面那段代码,执行完之后,我们再来看一看D盘Hadoop目录下是否多了一个jdk1.7的文件,如下图所示,我们发现确实多了一个jdk1.7的文件!**

说明我们Java和Hadoop结合的第一个小功能成功了!!

image

** 接下来我们再测试一下上传的功能,我们用Junit来进行测试,由于不论上传还是下载,fs都是必须用到的,FileSystem是一个抽象类,因此我们在使用之前需要先创建它的实现类,我们干脆把fs的获取放到@Before中去处理**

即在执行@Test方法之前先执行@Before,这样fs就可以先加载好了。红色部分是我们测试上传所需要的所有代码,我们执行testUpload,发现会报一个错误。

image

** 我们来看看报的错误信息,从描述中我们不难看出这是连接被拒绝的意思,也就是说我们缺乏写权限。**

image

** 既然我们没有root权限,我们不妨先来伪装一下root,让HDFS认为我就是root用户,伪装的方法是在加载fs的时候增加一个用户的参数"root"。添加完之后我们再来运行testUpload方法,发现运行成功了!这里值得说明的是,这种方式来操作HDFS显然是不好的,因为任何人都可以伪装成root来对HDFS进行写操作,很有可能出现恶意攻击。**

image

 ** 既然运行成功了,我们赶紧来看看HDFS的根目录下是否有我们刚才上传上去的文件。我们选择以浏览器的方式来查看HDFS根目录下的文件,我们发现根目录下确实多了一个FileZilla.exe的文件,说明我们上传成功了!**

image

** 接下来我们再尝试一下删除HDFS系统上的文件,如下图所示,我们试着把HDFS系统根目录下的jdk1.7文件给删除掉,运行后发现返回的值是true,说明我们删除成功!**

image

** 删除了文件,我们再来新建文件夹,执行完该方法后,到浏览器中查看HDFS的根目录,发现确实多了itcast001这个文件夹。**

image

image

** 我们接下来测试删除一个有子文件的文件夹,现在HDFS系统根目录下有itcast001这个文件,我们再向这个文件下上传一个文件,比如我们把root根目录下的install.log文件上传到了HDFS系统的根目录下,如下图所示,我们上传成功。**

image

** 既然上传成功了,那么此时HDFS系统的根目录下的itcast001文件便有子文件了,那么我们尝试删除掉它。这会儿我们一定要注意的是fs.delete方法的第二个参数必须是true才行,否则会报错,提示文件夹有子文件。**

image

** 删除完之后我们查看以下HDFS系统根目录下是否还有itcast001这个文件夹了,如下图所示,我们发现已经没有itcast001这个文件夹了,说明我们删除成功!**

image

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容

  • 目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Had...
    SeanC52111阅读 1,706评论 0 1
  • [root@hh hadoop]# hdfs namenode -format 17/12/12 17:42:06...
    好了伤疤忘了阅读 1,329评论 0 51
  • Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具...
    欢醉阅读 1,414评论 0 28
  • 下灯课时,眼睛很涩。很迷茫的感觉。四级,不知怎么过,惆怅。计算机一级,不知怎么过,英语竞赛,还有专业课,自己的卫生。
    流浪四年的猫阅读 197评论 0 0
  • 我们行为的目的(如为什么吃饭),是为了获得满足感。 满足感由何而来?大脑分泌多巴胺,“多巴胺D2受体”接受多巴胺,...
    安定的猫阅读 616评论 0 0