tags: [Hadoop,Hdfs,大数据]

1.添加白名单

• 创建白名单文件

  hadoop3.x/etc/hadoop 这个目录下创建白名单文件 vim dfs.hosts
  

• 向白名单文件中添加允许访问NameNode的节点主机 <u>记住不能有空格或者空行</u>

  node04
  node05
  node06
  

• 在NameNode的hdfs-site.xml配置中增加白名单属性

  vim hadoop3.x/etc/hadoop/hdfs-site.xml
  

  <property> 
    <!-- dataNode节点白名单控制 -->
    <name>dfs.hosts</name> 
    <!-- 对应白名单文件地址 -->
    <value>/opt/hadoop-3.1.3/etc/hadoop/dfs.hosts</value> 
  </property>
  

2.刷新NameNode和Yarn

> 如果是启动集群前已经做好了白名单控制，那么就不需要刷新了，刷新操作主要是让节点重新加载 *-site.xml配置文件

• 刷新NameNode

  • hdfs dfsadmin -refreshNodes
    

• 刷新ResourceManager

  • yarn rmadmin -refreshNodes
    

3.黑名单

​ 原理和白名单相似，添加到黑名单的主机，加载配置后，会强制剔除主机。

4. 数据平衡

​ 如果数据不均衡，可以用命令实现集群的再平衡。当你的集群因某些因素导致部分节点下线，那么下线的节点所存储的资源势必要分配到其他节点上，造成集群负载不均衡，这时候我们可以手动通过命令实现集群的再平衡。

start-balancer.sh