官方网址：http://flume.apache.org/

1. Flume-3数据合并节点服务思路梳理

2.下载flume源码并导入Idea开发工具

下载并导入IDEA成功

3.官方Flume与HBase集成的参数介绍

官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#asynchbasesink

4.下载日志数据并分析

之前已下载好经典版

5.flume agent-3聚合节点与HBASE集成的配置

1.Flume与HBase集成配置一

配置原理：在第一台虚拟机上配置

课件

配置java环境变量

配置source channels sinks

2.Flume与HBase集成配置二

5.对日志数据进行格式处理

cat weblog.log |tr "\t" "," > weblog2.log  将制表符替换为逗号

cat weblog2.log |tr " " "," > weblog3.log 将空格替换为逗号

删除无用文件更改名字为weblog.log

mv weblog3.log weblog.log

分发到第二台和第三台

scp weblog.log bigdata-pro02.kfk.com:/opt/datas/

scp weblog.log bigdata-pro03.kfk.com:/opt/datas/

6.自定义SinkHbase程序设计与开发

7.flume agent-3聚合节点与kafka集成的配置

http://flume.apache.org/

配置完成