黑猴子的家：Flume 角色

1、Source

用于采集数据，Source是产生数据流的地方，同时Source会将产生的数据流,传输到Channel，这个有点类似于Java IO部分的Channel。

2、Channel

用于桥接Sources和Sinks，类似于一个队列。

3、Sink

从Channel收集数据，将数据写到目标源(可以是下一个Source，也可以是HDFS或者HBase)。

4、Event

传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • Apache Flume 1.6.0 用户指南
    博客原文 翻译作品，水平有限，如有错误，烦请留言指正。原文请见 官网英文文档 引言 概述 Apache Flume...
    rabbitGYK阅读 13,939评论 13赞 34
  • Flume架构与实践
    Flume架构与实践 Flume是一款在线数据采集的系统，典型的应用场景是作为数据的总线，在线的进行日志的采集、分...
    mike_zhangliang阅读 6,350评论 0赞 2
  • Flume原理解析
    阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agen...
    达微阅读 10,192评论 0赞 9
  • Flume浅析
    Flume的功能和架构特点 ** 功能 **flume 是一个分布式的，可靠的，可用的，可以非常有效率的对大数据的...
    心_的方向阅读 7,229评论 1赞 10
  • Flume原理解析
    一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flu...
    superxcp阅读 4,551评论 0赞 2