Flume简介
flume是由cloudera软件公司产出的可分布式日志收集系统，可以用来对多钟数据来源收集数据。
安装Flume
下载Flume压缩包
解压压缩包到指定文件夹
配置环境变量
启动配置文件修改
# a1 是 agent 名称,列出 agent 的 source，sink 和 channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# r1 是 source 的名称，设置 source 的 channel
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /usr/local/data/data.log
a1.sources.r1.shell = /bin/sh -c
# k1 是 sink 的名称,设置 sink 的类型
a1.sinks.k1.type = logger
# c1 是 channel 的名称，设置 channel的类型是内存。事件存储在具可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流量，并且在代理发生故障时准备丢失分阶段数据。
a1.channels.c1.type = memory
## Channel 中存储的最大事件数
a1.channels.c1.capacity = 1000
## 每个事件 Channel 从 Source 或提供给 Sink 的最大事件数
a1.channels.c1.transactionCapacity = 100
# 绑定 source 和 sink 到 channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
使用Flume
bin/flume-ng agent --conf conf --conf-file conf/exec-memory-logger.conf --name a1 -Dflume.root.logger=INFO,console
