主要记录实际项目中遇到问题以及解决方式。
1、伪分布式部署时，若core-site.xml文件中采用如下图所示配置，其他应用与Hadoop非部署在同一台服务器时，其他应用会无法连上Hadoop。
原因：这种情况下，外部访问时会将datanode地址解析为127.0.0.1，导致应用无法正常连上Hadoop。将0.0.0.0修改为实际IP即可。
2、Hadoop的datanode节点分配较大存储空间（40TB以上）或者存储较多文件时，重启服务器，Hadoop初始化速度会比较慢。若服务器重启时应用与Hadoop同时启动，可能会出现应用连接Hadoop失败，这个时候需要应用去重复链接或者等Hadoop初始化完成后再启动应用。
3、多次格式化后无法正常启动datanode节点
查看datanode节点日志信息，报错如下：
原因：多次格式化造成datanode的clusterID和namenode的clusterID不匹配。
解决办法：
根据日志中的路径，cd /home/hadoop/tmp/dfs
能看到data和name两个文件夹，
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID（对datanode节点操作）
4、Non DFS Used占用空间变大
现象：通过http://IP:50070 发现NonDFS Used占用空间变大
原因：集群启用了historyserver，这个进程在删除临时文件后没有释放文件句柄，导致Non DFS Used空间增大
解决方式：
1）、重启hadoop的historyserver
2）、mr-jobhistory-daemon.sh start historyserver
3）、重启dfs
5、单机部署时通过服务自启动的方式启动Hadoop服务，有时候服务器断电会出现Hadoop节点未起来。
报错日志：
服务自启动脚本：
解决方式：未解决
