面试常问:Flume

四、Flume(三件事)

1、组成(source、channel、sink)

   1)taildir source
  (1)为什么?断点续传、多目录
  (2)哪个版本产生的? Apache1.7 cdh1.6
  (3)没有taildir source,怎么实现断点续传?
            自定义source,自己维护一个offset(Apache1.7 源码)
  (4)taildir source挂了,会有什么影响?
数据不会丢,但是有可能会重复
  (5)数据重复了怎么解决
          不处理     提高传输效率
          处理
                  自身:采用事务(自定义source)
                  下一级处理:hive的DWD SparkStreaming redis
                                         group by 或者 开窗,取第一条
  (6)是否支持递归遍历文件夹,读取数据
                   不支持     自定义source : 递归遍历文件夹 + taildir读取文件函数
   2)channel
  (1)FileChannel 基于磁盘 可靠性高 传输效率低
  (2)MemoryChannel 基于内存 可靠性低 传输效率高
  (3)KafkaChannel 数据存储在Kafka里面基于磁盘的 可靠性高
                                    Kafkachannel传输性能高于 memorychannel+kafkasink
                                    Kafkachannel是Apache1.6产生的,但是当时没火
                                    头信息+内容 =》 需要后续清洗 提供了参数,很遗憾,没起作用。
                                    Apache1.7之后,问题解决,火了
(4)在企业里面如何选择
               如果下一级是Kafka,优先选择Kafkachannel
               如果不是: 如果是对可靠性要求比较高,比如金融行业,或者跟钱相关数据,选择filechannel
                                  如果是普通的日志,对可靠性要求不高,对传输效率要求较高,选择memorychannel
3)hdfs sink
小文件处理方式:按照文件大小(128M)、文件时间(1-2小时)、event个数(0)(如果按照event会导致有的文件大有的文件小)

2、三个器(拦截器、选择器、监控器)

1)拦截器:
     ETL拦截器 判断json的完整性;
     (1)事件拦截器 event start
      event (商品点击、商品列表、商品详情、广告、故障、点赞、评论、收藏、后台活跃、通知)
      (2)自定义拦截器步骤:
     定义类,实现interceptor接口,重写里面4个方法:初始化、关闭资源、单event处理、多event处理 builder
     打包=》上传到flume/lib 在配置文件中关联拦截器 全类名 $builder
      (3)不用拦截器行不行
      可以=》在hive的DWD层解析 或者sparkstreaming内部解析
2)选择器
replicating(默认) 把数据发往下一级所有通道
multiplexing 把数据选择性发往,指定通道。
3)监控器
Ganglia
    尝试提交的次数,远远大于最终提交成功次数。需要优化flume
    自身:flume 增加内存 flume-evn.sh
    找兄弟:增加flume

3、优化

1)filechannel 能多目录配置多目录,能提高吞吐量
2)hdfs sink
小文件处理方式:按照文件大小(128M)、文件时间(1-2小时)、event个数(0)(如果按照event会导致有的文件大有的文件小)
3)监控-增加flume内存或配置多台flume

4、如果挂了怎么办?

如果是memorychannel 有可能丢数据 100 event
如果是taildirsource 不会丢数据,但是有可能重复数据

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容