impala刷新数据出错

clipboard1.png

看日志说是阈值达到了,然后去各个datanode看了下,硬盘还有好几十个T,然后没看出来问题在哪。

  • 就把hadoop重启下,结果好几个datanode起不来了,去上面看,说是没space.
  • 郁闷,明明硬盘还很多空间。后来想起来另一个地方,Inodes.
  • 使用df -i看了下,果然,100%。然后就去删除一个文件夹下的无用的文件,把inodes释放出来,然后启动datanode可以了。后来脚本又可以正常刷新了。

inodes

在此普及一下inodes

一、inode是什么?

理解inode,要从文件储存说起。
文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。

操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个sector组成一个 block。

文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。


详细信息请查看https://www.cnblogs.com/itech/archive/2012/05/15/2502284.html

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一个基本的计算机系统由“硬件”和“软件”组成,一台Linux设备,主要的组成如下图所示: 一般情况下,我们所说的L...
    时待吾阅读 1,686评论 0 16
  • 是这样的,刚上的一节数据结构课,学习了B树.里面提到了B树主要用于文件索引.书上的结构体定义如下 但是文件的索引k...
    小吉快跑呀阅读 782评论 0 2
  • fdisk, partx, kpartx, mke2fs, tune2fs, dumpe2fs, e2label,...
    魏镇坪阅读 1,668评论 0 4
  • 今天(2013-10-9)研究文件系统的时候看到一篇讲linux inode的文章,深受启发。大部分引用加少部分自...
    littlersmall阅读 1,166评论 1 48
  • 今天是非常愉快的结束的。心情超级好。快乐有时候真特么简单。 白天在图书馆学了个习,下午上课之前JOE发信息说来pi...
    Ada秦小念阅读 167评论 0 0