(已解决)Hadoop “Unable to load native-hadoop library for your platform” warning

问题:Hadoop “Unable to load native-hadoop library"(原创)

描述:出现此问题一般有两种情况:

1、native文件下文件缺失,或者文件下版本与当前hadoop版本不匹配(hadoop version)

2、系统加载的native文件路径不正确

解决方法:

1、针对第一种情况,首先诊断当前native版本是多少是否和当前系统不匹配

A、Find / -name native找到native所在目录

B、ldd libhadoop.so.1.0.0 和   ldd version查看此两种版本是否一致

C、如果不匹配去官方(http://dl.bintray.com/sequenceiq/sequenceiq-bin/)下载对应的版本替换当前的native文件  重启hdfs即可

2、第二种情况,需要查看当前native加载的路径是多少

A、export HADOOP_ROOT_LOGGER=DEBUG,console在bash中执行此命令,开启hdfs调试模式,便于查看加载路径

上图可以看到,加载的目录,可以去此目录下查看是否有相应的文件,如果没有创建目录将相应的native文件移动到native文件夹下既可,再次启动hdfs dfs -ls /查看问题已得到修复
natvie环境全部ok
hdfs查询没有警告提醒了
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容