Hadoop进阶

在部署了hadoop的各个组件熟悉了控制台命令行模式之后,下一步就是熟悉各组件的API了,这就涉及到在Windows环境下进行编程。

Windows下使用Eclipse进行开发

打开eclipse新建maven项目,添加依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.5.0</version>
</dependency>

测试HDFS的API时遇到问题

ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

这个错误好像不影响后面代码的运行,但是影响美观。这里有两个点:

  • 1、路径最前面是null,说明是HADOOP_HOME的问题,所以需要在Windows上安装hadoop,然后配置环境变量,也可以手动在MapReduce程序里加上环境变量System.setProperty("hadoop.home.dir", "...")。
  • 2、winutils.exe这个文件默认是没有的,需要去网上下载之后放在hadoop的bin目录下

hdfs API示例
mapreduce API

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容