大数据之hdfs

一、shell命令

1、移动本地文件至hdfs:hadoop fs -moveFromlocal 本地路径  存储路径  
2、复制本地文件至hdfs:hadoop fs -copyFromlocal 本地路径  存储路径 (copyToLocal/get则相反)
3、追加数据:   hadoop fs -appendToFile 本地路径  文件存储路径 
4、查看数据:   hadoop fs -cat  文件存储路径 
5、copy数据: hadoop fs -cp hdfs源路径 hdfs目标存储路径  
6、移动数据: hadoop fs -mv hdfs源路径 hdfs目标存储路径  
7、合并下载多个文件: hadoop fs -getmerge hdfs源路径 本地文件路径 
8、hadoop fs -put 本地源路径  hdfs存储路径(等同copyFromlocal) 
9、显示文件末尾: hadoop fs -tail hdfs文件路径   
10、统计文件目录大小: hadoop fs -du -h -s 
其他命令: -rm(移除文件或目录)、-rmdir(删除空目录)、-du(统计文件夹大小信息)、-setrep(设置副本数量) 
11、多文件归档命令: bin/hadoop archive -archiveName input.har(归档文件名,后缀需har) -p /user/test/input(源文件路径) /user/test/output(归档文件路径) 
12、查看归档文件: hadoop fs -ls -R har:///user/test/output/input.har 
13、解归档文件: hadoop fs -cp har:///user/test/output/input.har/* /user 

二、hdfs

1、hdfs将fsimage转换xml操作命令: hdfs oiv -p XML -i fsimage_0000000000000000114(原数据文件路径)  -o fsimage_114.xml(目标文件路径) 
2、hdfs将操作命令日志转换xml操作命令: hdfs oev -p XML -i edits_0000000000000000114(原数据文件路径)  -o edits_114.xml(目标文件路径)   
3、安全模式命令 
1) 查看安全模式: hdfs dfsadmin -safemode get 
2)进入安全模式: hdfs dfsadmin -safemode enter 
3)离开安全模式: hdfs dfsadmin -safemode leave 
4)等待安全模式: hdfs dfsadmin -safemode wait 
4、快照 
1) 开启指定目录快照: hdfs dfsadmin -allowSnapshot 路径
2) 禁止指定目录快照: hdfs dfsadmin -disallowSnapshot 路径 
3) 对目录创建快照: hdfs dfs -createSnapshot 路径 
4) 指定名称创建快照: hdfs dfs -createSnapshot 路径 名称 
5) 重命名快照: hdfs dfs -renameSnapshot 路径 旧名称 新名称  
6) 列出当前用户所有可快照目录: hdfs lsSnapshottableDir  
7) 比较两个快照目录不同之处: hdfs snapshotDiff 路径1 路径2  
8) 删除快照: hdfs dfs -deleteSnapshot <path> <snapshotName>

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容