(七)Hadoop、hdfs常用命令

一、常用命令

1.hadoop fs == hdfs dfs

2.hadoop version

3.hadoop jar  <jar> 运行一个jar包

4.hadoop checknative   查看hdfs下支持哪些压缩

false说明不支持这种压缩

5.hadoop classpath       打印获取jar包和所需库的路径

拓展:hadoop如何添加第三方jar包

http://www.aboutyun.com/thread-11059-1-1.html

https://blog.csdn.net/fansy1990/article/details/47611017

二、HDFS是在hadoop用户下部署的,hadoop用户则具有最大权限,即hadoop用户相对于hdfs的地位等同于root用户相对于linux的地位,因此我们有时在其他用户下使用hdfs相关命令时会遇到没有权限的问题

对于hadoop用户下部署的hdfs,root相当于其他用户和用户组,权限仅有r-x,没有写的权限

举例:将root用户下/tmp/20180505.log上传到hdfs根目录下的两种方法

1.(root用户下)

[root@hadoop000 ~]# su - hadoop -c "hdfs dfs -put /tmp/20180505.log /"

#-c表示临时切换到hadoop用户内执行命令,但不会真正的切换用户,这种操作有一个前提,就是该用户要有切换到hadoop用户的权限,此例中root肯定有这个权限,如果用其他普通用户就不一定可以了

2.(hadoop用户下)

[hadoop@hadoop000 ~]$ hdfs dfs -mkdir /root

[hadoop@hadoop000 ~]$ hdfs dfs -chmod -R root:root /root

[hadoop@hadoop000 ~]$ hdfs dfs -put /tmp20180505.log /root

企业中第二种操作更为常用

三、hdfs常用命令

-copyFromLocal==-put;-copyToLocal==-get

hdfs dfsadmin -report         报告集群的使用状况

hdfs dfsadmin -safemode leave     强制离开安全模式

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容