hadoop常见错误集锦

1、启动hadoop时没有NameNode的可能原因:

(1) NameNode没有格式化
(2) 环境变量配置错误
(3) Ip和hostname绑定失败

2、搭建hadoop集群使用ssh不成功

①查看防火墙
②检查用户权限
③可能是缺少插件
使用命令: yum install -y openssh-clients*

3、启动时报错java.net. UnknownHostException

原因分析:通过localhost.localdomain根本无法映射到一个IP地址。
解决方法:查看/etc/hosts,将主机名hostname添加到hosts文件中。

4、hadoop在第一次启动时报错

①检查是不是对namenode进行了格式化
②namenode格式化前是否将data 和logs文件删除

5、运行shell脚本不成功

查看脚本的文件格式修改为unix格式
修改脚本格式:进入脚本文件按“shift :”输入set fileformat = unix回车

6、window下运行我wordcount报下面错误

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决方案:拷贝 hadoop.dll 文件到 windows 目录 C:\Windows\System32。

7、日志问题

报错log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方案:需要在项目的src下面新建file名为log4j.properties的文件;

8、远程连接问题

当远程连接不到linux时 查看电脑中的网卡的子网掩码与主机的子网掩码是否一致,若不一致则格式化网卡再将网段改回来。

9、start-dfs.sh不能生效故障

使用时应注意ssh应可以免密登录本机才可以使用。

10、上传文件,报错:NameNode is safe mode.

①等一会在上传
②使用hdfs dfsadmin -safemode leave命令退出安全模式就可以继续使用了

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,879评论 12 168
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    piziyang12138阅读 5,944评论 0 3
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    __豆约翰__阅读 5,499评论 2 3
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    数据萌新阅读 5,330评论 1 1
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 9,238评论 0 14

友情链接更多精彩内容