四、Flume(三件事)
1、组成(source、channel、sink)
1)taildir source
(1)为什么?断点续传、多目录
(2)哪个版本产生的? Apache1.7 cdh1.6
(3)没有taildir source,怎么实现断点续传?
自定义source,自己维护一个offset(Apache1.7 源码)
(4)taildir source挂了,会有什么影响?
数据不会丢,但是有可能会重复
(5)数据重复了怎么解决
不处理 提高传输效率
处理
自身:采用事务(自定义source)
下一级处理:hive的DWD SparkStreaming redis
group by 或者 开窗,取第一条
(6)是否支持递归遍历文件夹,读取数据
不支持 自定义source : 递归遍历文件夹 + taildir读取文件函数
2)channel
(1)FileChannel 基于磁盘 可靠性高 传输效率低
(2)MemoryChannel 基于内存 可靠性低 传输效率高
(3)KafkaChannel 数据存储在Kafka里面基于磁盘的 可靠性高
Kafkachannel传输性能高于 memorychannel+kafkasink
Kafkachannel是Apache1.6产生的,但是当时没火
头信息+内容 =》 需要后续清洗 提供了参数,很遗憾,没起作用。
Apache1.7之后,问题解决,火了
(4)在企业里面如何选择
如果下一级是Kafka,优先选择Kafkachannel
如果不是: 如果是对可靠性要求比较高,比如金融行业,或者跟钱相关数据,选择filechannel
如果是普通的日志,对可靠性要求不高,对传输效率要求较高,选择memorychannel
3)hdfs sink
小文件处理方式:按照文件大小(128M)、文件时间(1-2小时)、event个数(0)(如果按照event会导致有的文件大有的文件小)
2、三个器(拦截器、选择器、监控器)
1)拦截器:
ETL拦截器 判断json的完整性;
(1)事件拦截器 event start
event (商品点击、商品列表、商品详情、广告、故障、点赞、评论、收藏、后台活跃、通知)
(2)自定义拦截器步骤:
定义类,实现interceptor接口,重写里面4个方法:初始化、关闭资源、单event处理、多event处理 builder
打包=》上传到flume/lib 在配置文件中关联拦截器 全类名 $builder
(3)不用拦截器行不行
可以=》在hive的DWD层解析 或者sparkstreaming内部解析
2)选择器
replicating(默认) 把数据发往下一级所有通道
multiplexing 把数据选择性发往,指定通道。
3)监控器
Ganglia
尝试提交的次数,远远大于最终提交成功次数。需要优化flume
自身:flume 增加内存 flume-evn.sh
找兄弟:增加flume
3、优化
1)filechannel 能多目录配置多目录,能提高吞吐量
2)hdfs sink
小文件处理方式:按照文件大小(128M)、文件时间(1-2小时)、event个数(0)(如果按照event会导致有的文件大有的文件小)
3)监控-增加flume内存或配置多台flume
4、如果挂了怎么办?
如果是memorychannel 有可能丢数据 100 event
如果是taildirsource 不会丢数据,但是有可能重复数据