HDFS读取append中文件发生异常can't locate block

问题现象

HDFS读取文件偶现失败,均为append中文件,抛出cant't locate block异常。

问题分析

HDFS2.7.2及以前版本对Append操作处理存在实现缺陷。Append数据在写最后一个Block时,NameNode会刷新其Block Id,而DataNode会在写完后才刷新Block Id,在此期间如果业务侧同时读取该文件,并读到该Block,且其处在DataNode还没更新Block Id之前,则会出现该异常。

问题解决方案

调整业务逻辑,避免读取Append中文件末尾Block。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容