flume 安装与hadoop 安装

1 下载 hadoop-3.2.1 与 flume-1.9

解压到/opt

配置hadoop 环境变量

vim ~/.bashrc
export JAVA_HOME=/opt/alijdk8
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export FLUME_HOME=/opt/flume-1.9

配置hadoop 相关配置文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop301:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadooptmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据</description>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/hdsf/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HADOOP_MAPRED_HOME=/opt/hadoop-3.2.1
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/opt/alijdk8

启动 hdfs

source ~/.bashrc
/opt/hadoop-3.2.1/sbin/start-dfs.sh

配置flume

mkdir -p /opt/flume-1.9/job

在/opt/flume-1.9/job 下创建log-hdfs.conf 文件
log-hdfs.conf

#agent_name
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#source的配置
# source类型
a1.sources.r1.type = TAILDIR
# 元数据位置
a1.sources.r1.positionFile = /var/flume/positionmeta/taildir_position.json
# 监控的目录
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1=/tmp/test/.*log
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

#sink的配置
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop301:9000/flume/%Y%m%d/%H%M
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.filePrefix = bd
a1.sinks.k1.hdfs.fileSuffix = .log
#单位是byte 64*1024*1024=67108864 64m
a1.sinks.k1.hdfs.rollSize =67108864
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 5
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.minBlockReplicas = 1
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType=DataStream

#channel的配置
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /var/flume/data/checkpoint
a1.channels.c1.dataDirs = /var/flume/data
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 5000

解决flume 与hadoop的兼容性问题

错误信息

[Flume sink to HDFS error: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument](https://stackoverflow.com/questions/58688470/flume-sink-to-hdfs-error-java-lang-nosuchmethoderror-com-google-common-base-pr)

cp /opt/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar /opt/flume-1.9/lib
rm /opt/flume-1.9/lib/guava-11.0.2.jar

启动flume

bin/flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file job/log-hdfs.conf -Dflume.root.logger=DEBUG,console

关于rollxxx 与round 相关的解释

roll 系列的参数是作用于文件的

字段	默认值	说明
rollInterval	30	截断文件时间间隔，hdfs sink间隔多长将临时文件滚动成最终目标文件，单位：秒。默认值：30，如果设置成0，则表示不根据时间来滚动文件；注：滚动（roll）指的是，hdfs sink将临时文件重命名成最终目标文件，并新打开一个临时文件来写入数据；。设置为0表示不会因为时间间隔截断文件
rollSize	1024	文件字节数超过1024截断一个文件。设置为0就不因为文件大小截断文件，当临时文件达到该大小（单位：bytes）时，滚动成目标文件；默认值：1024,如果设置成0，则表示不根据临时文件大小来滚动文件；单位为字节（byte） 1024 = 1KB
rollCount	10	当events数据达到该数量时候，将临时文件滚动成目标文件；默认值：10，如果设置成0，则表示不根据events数据来滚动文件；设置为0就不因为event数量截断文件

round 系列参数作用的对象是时间戳，控制的是HDFS 里的目录（根据/%Y%m%d/%H%M 的配置参数来形成目录结构

字段	默认值	说明
round	false	时间戳需不需要四舍五入(不影响%t)
roundValue	1	时间戳四舍五入的倍数，要小于当前时间
roundUnit	second	时间戳四舍五入的单位

当job执行时间为2019-10-16 17:38:59时候，hdfs.path依然会被解析为：/flume/events/20191016/17:35/00 因为我们的roundValue配置是 5 roundUnit 的配置是minute

参考文章
Flume中的HDFS Sink配置参数说明
 如何理解Flume hdfs sink的roll和round
HDFS 参数说明

flume 同步日志文件到 HDFS

flume 同步日志文件到 HDFS

flume 安装与hadoop 安装

1 下载 hadoop-3.2.1 与 flume-1.9

配置hadoop 环境变量

配置hadoop 相关配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

hadoop-env.sh

启动 hdfs

配置flume

解决flume 与hadoop的兼容性问题

关于rollxxx 与round 相关的解释