flume

官方文档:
http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

1 数量来源 Flume Sources

  • Avro
  • Thrift
  • Syslog
  • Netcat
  • Exec Source
    作用:

    Exec source runs a given Unix command

缺点:


日志文件发送变化处理不了.png
6 Spooling Directory Source  spooldir
>   SpoolingDirSource用于监控文件目录变化的,
  但是实际的使用中会有以下两个问题:
  一 是文件不能写,只能读。
 二 是延迟比较高,需要等待日志定期归档。
spooldir适合离线日志处理.png
解决办法.png

启动flume:

flume-ng agent --conf conf -f /usr/local/apache-flume-1.7.0-bin/conf/flume-conf.properties -n agent&

参考
1 基于Flume的野狗实时日志系统的演进和优化
https://blog.wilddog.com/?p=862&utm_source=tuicool&utm_medium=referral
2
https://yq.aliyun.com/articles/100902?t=t1

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 博客原文 翻译作品,水平有限,如有错误,烦请留言指正。原文请见 官网英文文档 引言 概述 Apache Flume...
    rabbitGYK阅读 11,552评论 13 34
  • 介绍 概述 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布,可靠的,可用...
    ximengchj阅读 3,563评论 0 13
  • Flume的官网地址:http://flume.apache.org/FlumeUserGuide.html#ex...
    24格的世界阅读 927评论 0 1
  • 这里主要介绍几种常见的日志的source来源,包括监控文件型,监控文件内容增量,TCP和HTTP。 Spool类型...
    欢醉阅读 1,438评论 0 10
  • 1. 分开第一天,你盼望着他的信息,眼巴巴的等着他联系然后说一句“乖,我们不闹了好不好”。 他给的一个斜坡你都愿意...
    嗨七爷阅读 983评论 6 14