flume传输大文件异常Input length = 2

在使用flume spooling组件传输文件时,经常会出现以下问题:

1.文件只能传输一部分。

2.第二次将文件放到flume的监控目录下时,不能传输文件,监控目录中的文件也不会被删除。

3.flume重启之后,文件才能继续被传输。

原因:在Spooling传输文件的时候,出现了同时读写一个文件导致的问题。

异常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

java.nio.charset.MalformedInputException: Input length = 2。

爆出下面的异常:


解决办法:

1.将原始日志cp到安装flume的同级目录下(防止在第二步mv的时候,不是在同一个磁盘会出现上面的异常)。

2.使用mv到flume监控目录。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容