Linux与Hdfs上du命令的区别

命令du:统计目录/文件夹总大小

  • 参数:

    • -s:返回目录总大小(全拼:summary,linux和hdfs都有效)
    • -b:指定单位为b(只linux有效,因为默认是kb)
    • -h:以人类可读的形式(一般常用du -sh *)
  • Hdfs操作:

    • 命令:hadoop fs -du -s [hadoopPath]
    • 返回:hdfs目录总大小,默认单位:b
    • 理解:这个目录下所有文件的大小总和
  • Linux操作

    • 命令:du -sb [localPath]
    • 返回:本地目录总大小,单位:-b指定字节
    • 理解:这个目录的总大小(除了包含里面的所有文件大小,可能还包涵其它的)
  • 区别:Linux中的du命令结果要比这个目录中所有文件的大小总和还大一点

  • 比较本地和hdfs上的目录大小,hdfs上可以使用hadoop fs -du -s,Linux上可以这样做:

localFileSize = 0
for file in os.listdir(filePath):
  localFileSize += os.path.getsize(filePath + file)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容