Hadoop异常处理

1、执行sbin/start-all.sh或sbin/stop-all.sh报错

ERROR: Attempting to operate on hdfs namenode as root

处理:

在start-dfs.sh,stop-dfs.sh添加:

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh,stop-yarn.sh添加:

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root


2、执行sbin/start-all.sh报错

Starting namenodes on [hadoop-master-181.pdl] hadoop-master-181: root@hadoop-master-181: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

处理:

配置SSH

ssh-keygen -t rsa

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys


3、启动Hadoop配置

etc/hadoop/core-site.xml增加:

<property>

    <name>hadoop.tmp.dir</name>

    <value>/pdldata/hadoop-3.3.0/data/tmp</value>

</property>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://10.0.252.181:8020</value>

</property>

etc/hadoop/hdfs-site.xml增加:

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

<property>

  <name>dfs.http.address</name>

  <value>10.0.252.181:50070</value>

</property>

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容