1、java.net.NoRouteToHostException: No route to host
解决方法:zookeeper的IP要配对
2、Failed to locate the winutils binary in the hadoop binary path
解决方法:先安装好hadoop
3、CALL TO LOCALHOST/127.0.0.1:9000
解决方法:host配置正确,/etc/sysconfig/network /etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0
4、打开namenode:50070页面,Datanode Infomation只显示一个节点
解决方法:SSH配置错误导致,主机名一定要严格匹配,重新配置ssh免密码登录
5、建议:不要随意格式化HDFS,这会带来数据版本不一致等诸多问题,格式化前要清空数据文件夹
6、namenode1: ssh: connect to host namenode1 port 22: Connection refused
解决方法:sshd被关闭或没安装导致,which sshd检查是否安装,若已经安装,则sshd restart,并ssh 本机hostname,检查是否连接成功
7、Log aggregation has not completed or is not enabled.
解决方法:在yarn-site.xml中增加相应配置,以支持日志聚合
8、Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
解决方法:yarn-lient模式出现的异常,暂时无解
9、hadoop的文件不能下载以及YARN中Tracking UI不能访问历史日志
解决方法:windows系统不能解析域名所致,把hosts文件hostname复制到windows的hosts中
10、建议:HDFS文件路径写法为:hdfs://master:9000/文件路径,这里的master是namenode的hostname,9000是hdfs端口号。
11、Yarn JobHistory Error: Failed redirect for container
解决方法:将 http://:19888/jobhistory/logs 配置到yarn-site.xml中,重启yarn和JobHistoryServer
12、通过hadoop UI访问hdfs文件夹时,出现提示 Permission denied: user=dr.who
解决方法:namonode节点终端执行:hdfs dfs -chmod -R 755 /
13、建议:提交到yarn cluster的作业不能直接print到控制台,要用log4j输出到日志文件中
14、log4j:WARN Unsupported encoding
解决方法:1.把UTF改成小写utf-8 2.设置编码那行有空格
15、 ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application
解决方法:资源不能分配过大,或者没有把.setMaster("local")去掉
16、Yarn的RM单点故障
解决方法:通过三节点zookeeper集群和yarn-site.xml配置文件完成Yarn HA
17、Yarn HA环境下,通过web访问history日志被跳转到8088而无法显示
解决方法:恢复Yarn Http默认端口8088
18、Using config: /work/poa/zookeeper-3.4.6/bin/../conf/zoo.cfg Error contacting service. It is probably not running.
解决方法:配置文件不正确,例如hostname不匹配等
19、linux服务器磁盘爆满,检查超过指定大小的文件
解决方法:find / -type f -size +10G
20、HADOOP 磁盘满的各节点平衡
解决方法:运行指令hdfs balancer -Threshold 3 或者 运行 start-balancer.sh 脚本格式:$Hadoop_home/bin/start-balancer.sh -threshold,参数3是比例参数,表示3%,也就是平各个DataNode直接磁盘使用率偏差在3%以内
21、建议:数据倾斜只发生在shuffle过程,可能触发shuffle操作的算子有:distinct groupByKey reduceByKey aggregateByKey join cogroup repartition等
22、启动hadoop yarn,发现只启动了ResourceManager,没有启动NodeManager
解决方法:yarn-site.xml配置有问题,检查并规范各项配置
23、如何查看hadoop系统日志
解决方法:Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志,它们的日志位置如下:ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log,NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log
24、建议:小于128M的小文件都会占据一个128M的BLOCK,合并或者删除小文件节省磁盘空间
25、how to remove Non DFS Used
解决方法:1)清除hadoop数据目录中用户缓存文件:cd /data/hadoop/storage/tmp/nm-local-dir/usercache;du -h;rm -rf `find -type f -size +10M`; 2)清理Linux文件系统中的垃圾数据
26、linux profile配置文件隔离
解决方法:cd /etc/profile.d;在这里新建相应配置脚本
27、启动yarn,发现只启动了部分Nodemanager
解决方法:未启动的节点缺少yarn相关包,要保持所有节点jar包一致
28、HDFS误删文件如何恢复解决方法:core-site文件中加入
fs.trash.interval
2880
HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用
恢复文件执行 hdfs dfs -mv /user/root/.Trash/Current/误删文件 /原路径
29、改了linux定时脚本里边部分任务顺序,导致有些任务未执行,而有些重复执行
解决方法:Linux脚本修改后实时生效,务必在脚本全部执行完再修改,以免产生副作用