(三) JAVA通过Hadoop URL访问文件

参考教材: Hadoop-The Definitive Guide (4th edition), Tom White

环境

Operation System: MacOS Mojave Version 10.14.3,
Java Version: Java 10.0.1
Hadoop Version: Hadoop 3.1.1

准备工作 & 项目概述

这次是跑书中chapter 03里的一个小程序, 主要就是用JAVA语言通过Hadoop URL来访问hdfs上的文件. 首先从官网下载本书的源码, 并进入ch03的文件夹中, 找到src/main/java目录:

cd your_path/hadoop-book-master/ch03-hdfs/src/main/java

可以看到该目录下有很多java文件, 其中的URLCat.java就是我们想要的文件.

all the files

可以打开URLCat.java文件瞧一瞧里面的代码. 该段代码的作用就是, 解析你输入的(通过命令行参数输入)文件地址URL, 并把它输出到System.out中(也就是输入到终端).

接下来准备输入. 在本地新建一个文件, 随便输入一点字符, 并把它上传到hdfs上.

vim URLInput.txt

#然后自己随便在文件里面输入一点什么并保存

#这一步是把刚创建的文件上传到hdfs, 请自己提前在hdfs上建立好目录/user/username, username是你自己的用户名
hdfs dfs -put URLInput.txt /user/katsura/  

#接下来编译java文件并打包, 这里把所有的class打包到一个jar文件里了
javac *.java                             
jar -cvf ch03.jar *.class                  

#提交到上hadoop运行. 由于jar包中有很多class, 所以不仅要指定jar包, 还要指定class
hadoop jar ch03.jar URLCat hdfs://localhost/user/katsura/URLInput.txt

运行结果

output

遇到的问题

过程中遇到一个问题

Exception in thread "main" java.net.ConnectException: Call From katsura/192.168.43.78 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:488)

这是因为HDFS守护进程默认是在8020端口, 于是java程序在连接的时候就默认连接到了8020端口; 但是我在core-site.xml中把fs.defaultFS属性设置成了hdfs://localhost/9000, 也就是说我的HDFS守护进程实际上是运行在9000端口的, 因此会连接失败.
解决办法很简单, 要么改改java代码, 让它连接9000端口, 要么把fs.defaultFS改成8020. 然而不知道怎么修改java代码, 因此就把core-site.xml改了.

vim $HADOOP_HOME/etc/hadoop/core-site.xml

#然后修改fs.defaultFS属性