Hadoop学习常见错误

一、关于安装

1.  在Hadoop全分布环境搭建中,记得每台服务器上都需要安装 JDK

2.  安装Hadoop完毕后,除了需要配置环境变量外,还需要修改多个配置文件,缺一不可。文件位置在你指定路径安装的Hadoop下  的 /etc/hadoop/ 目录下。       

 需要修改的配置文件:    hadoop-env.sh         hdfs-site.xml       core-site.xml        mapred-site.xml (这个配置文件是原来 mapred-site-template 修改过的名字)   yarn-site.xml   slaves   由于疏忽,忘记配置slaves,导致在主机上启动服务后,其它服务器完全没反应。

3.  由于多次format namenode节点导致  namdenode 的 namespaceID 与  datanode的namespaceID 不一致,从而导致namenode和 datanode的断连。     

     解决方案:1、先将Hadoop所有服务停止,stop-all.sh    2、在自己设置的临时文件夹(tmp/dfs/)中将data文件夹删除    3、重新启动Hadoop服务就可以了,start-dfs.sh,用jps查看。

4. 启动服务后发现其它正常,DataNode 没起来,有可能是因为 NameNode 数据里的 CID 和DataNode 上的 CID 不一致。 解决方案: 关闭服务,将DataNode里的CID改为NameNode的     CID即可。

5. 执行 yarn 启动命令时,要在指定的 ResourceManager 上启动。否则会发现 ResourceManager    未启动。

6.在确认各配置文件正确后,如果不能正常连接到 HDFS 或 Yarn 平台,尝试更换浏览器,推荐         电脑自带的 ie 浏览器。

二、MapReduce 错误



  以上便是一些简单的常见错误,希望对大家能有所帮助。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,798评论 12 168
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 9,221评论 0 14
  • 这一周心情一直有点低迷,工作上年底任务越来越重,有种焦虑感;不做事的“邀功精”受到了领导表扬,做多错多的自己却挨了...
    好听的暖阳阅读 2,642评论 10 14
  • 昏黄的路灯下 冒着细雨 一个人狂奔 侧身的车辆呼啸而过 雨水打在脸上 淋在身上 也落在了心里 我想,我是真的累了 ...
    红尘多扰阅读 1,810评论 1 1

友情链接更多精彩内容