为什么hadoop集群一直处于安全模式状态?

问题:hadoop集群的namenode一直处于安全模式。

现象:开启hive时报错:

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):

Cannot create directory /tmp/hive/xxx/01ce6751-cfbf-4120-9d63-0a2432187af2. Name node is in safe mode.

解决:

1、手动关闭安全模式,但是下一次还是会处于安全模式。 

(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)

(2)bin/hdfs dfsadmin -safemode enter  (功能描述:进入安全模式状态)

(3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)

(4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)

2、经过搜索各位前辈的解决方案,终于解决啦,具体如下:

(1)查看当前的hdfs的blocks的状态

hdfs fsck -blocks

发现有两个损坏的blocks,(那个界面没有找到了。。。。所以没现象看。。。)

(2)手动关掉安全模式

hadoop dfsadmin -safemode leave

(3)删掉损坏的blocks

hdfs fsck  / -delete

(4)再次查看blocks的状态

hdfs fsck -blocks

 出现下面的界面:Status: HEALTHY 

Status: HEALTHY

Number of data-nodes:  1

Number of racks:              1

Total dirs:                    160

Total symlinks:                0

Replicated Blocks:

Total size:    401578760 B

Total files:  621

Total blocks (validated):      538 (avg. block size 746428 B)

Minimally replicated blocks:  538 (100.0 %)

Over-replicated blocks:        0 (0.0 %)

Under-replicated blocks:      538 (100.0 %)

Mis-replicated blocks:        0 (0.0 %)

Default replication factor:    3

Average block replication:    1.0

Missing blocks:                0

Corrupt blocks:                0

Missing replicas:              1076 (66.666664 %)

Erasure Coded Block Groups:

Total size:    0 B

Total files:  0

Total block groups (validated):        0

Minimally erasure-coded block groups:  0

Over-erasure-coded block groups:      0

Under-erasure-coded block groups:      0

Unsatisfactory placement block groups: 0

Average block group size:      0.0

Missing block groups:          0

Corrupt block groups:          0

Missing internal blocks:      0

FSCK ended at Wed Dec 08 16:51:54 CST 2021 in 20 milliseconds

The filesystem under path '/' is HEALTHY

查看hadoopweb端口:

 安全模式关闭

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容