hadoop3 问题大杂烩

1. 网页ui上传文件失败

网页中查看文件夹/在文件夹内上传文件出现错误

Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp" 

https://blog.csdn.net/King_818/article/details/64998693
修改那个文件夹的权限

  1. 增加本地环境变量
  2. 修改本地用户账号
  3. 修改hdfs配置 core-site.xml ,添加 dfs.permissions : false, 并修改目录权限可写入(仅适合测试环境,不推荐)

2. DataNode启动成功而livenode显示为1

https://blog.csdn.net/u011811966/article/details/78424217

3. 修改主机名

https://blog.csdn.net/dengjin20104042056/article/details/80462511
首先:

sudo /etc/hostname

修改为新主机名,然后:

sudo nano /etc/hosts

在其中添加一行,

127.0.1.1 xxhostname

其中xxhostname为你的新主机名,该行将主机名映射到127.0.1.1。

注意,一个域名只能映射到一个ip,确保文件中没有将一个域名映射到两个ip上,如果有重复,就去掉多余的。

重启生效。

4. hadoop3 节点datanode变为deadnode

https://www.cnblogs.com/zhzhang/p/3966368.html

在坏死的节点上输入如下命令即可:

hdfs --daemon start datanode

启动datanode。

5. hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

一般在 shell中输入

hadoop  classpath

输出为

/etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/./:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/.//*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/lib/*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//*

然后 这些输出 直接 粘贴到 yarn 的配置文件里 yarn-site.xml
的 属性 <name>yarn.application.classpath</name>赋值

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容