java遍历hdfs路径信息,报错EOFException

image.png

@[TOC]

代码

 FileSystem fs=FileSystem.get(
                    new URI("hdfs://192.168.20.91:9000"), new Configuration(), "hdfs");
            ContentSummary in = fs.getContentSummary(new Path(
                    "/apps/hbase/data/data/default"));
image.png

image.png

报错原因:指定的hdfs端口号或路径不对,不是9000而是8020,也不是所谓hadoop路径下的slaves或者workers没有配置DNS域名解析对问题
网上有传未配置DNS映射导致报错,这个需要自己详细排查,因为我的不是这个原因报错,详情看https://www.cnblogs.com/dreamzj/p/13602573.html

解决办法:进入linux的hadoop路径下 /etc/hadoop/core-site.xml,查看具体的namenode的端口号,该端口号就是主入口


image.png
image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/...
    有七段变化阅读 3,012评论 0 0
  • 一、架构 二、框架部署 2.1 准备 准备三台虚拟机,操作系统为CentOS 7.x,每台内存至少8G以上。 步骤...
    CJ21阅读 4,751评论 0 3
  • 本文是对HDFS技术的一个初步学习的总结,包括如下章节的内容: 概述 架构 命令行接口 常见HDFS命令 远程访问...
    我是老薛阅读 4,946评论 0 2
  • [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时...
    西北偏北阅读 2,915评论 0 1
  • 包括三个作业:1.hadoop 常用shell整理。包含shell命令、使用方法、示例。命令名称 使用方法 ...
    lufaqiang阅读 4,402评论 0 0