面试官系列：谈谈你对Flume的理解 (qq.com)[https://mp.weixin.qq.com/s/WwZkUkRaACgmtE-oZFlwgA] 【大数据面试题】...
IP属地：广东
-
17_Flume之面试题
-
16_Flume之源码分析
Flume 1.9.0 源码解析 : TailDirSource 全解flume taildir详解张伯毅的博客-CSDN博客[https://zhangboyi.blog....
-
15_Flume之TailSource源码修改(修复Flume任务故障文件1. 问题-Flume任务故障，文件重命名数据丢失 我们常用TailSource来监听日志文件，被监听的日志文件是常配置了按时间滚动生成方式的，也就是一天一个文件，到零点时会...
-
14_Flume之事务Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的event传递。一旦事务中所有的event全部传递到channel且提交...
-
13_Flume之监控1. 介绍 Flume自带的有两种监控方式, http监控和ganglia监控，用户还可以实现自定义的监控。 2. Http监控 使用这种监控方式，只需要在启动flume的...
-
11_Flume之启动任务脚本
1. 介绍 将Flume客户端和真正任务配置的文件夹隔离开 通过启动命令指定每个任务的执行日志 真正任务配置中的可变参数 均采用传参使用，用于生产开发测试不同环境的不同参数 ...
-
10_Flume之拦截器
1. 介绍 Inteceptor主要用来对event进行过滤和修改，Interceptor可以将处理结果传递给下一个Interceptor从而形成InterceptorCha...
-
09_Flume之Sink的Processors
1. Sink Processor共有三种类型 类型DefaultSinkProcessor对应单个sink，发送至单个sinkLoadBalancingSinkProces...
-
08_Flume之HDFS Sink 的参数解析及异常处理
一、配置详解 序号参数名默认值描述1typeSink类型为hdfs-2hdfs.path-HDFS存储路径，支持按照时间分区。集群的NameNode名字：单节点：hdfs:/...
-
07_Flume之Channel的selector1. 默认 如果没有手动配置，source的默认channel选择器类型是replicating（复制），当然这个选择器只针对source配置了多个channel的时候。 既...
-
06_Flume之各种Channel的介绍及参数解析
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度...
-
05_Flume之KafkaSource参数解析一、介绍 Flume是一个开源的分布式日志收集系统，而Kafka是一个高吞吐量的分布式消息系统。 KafkaSource是Flume中的Source类型之一，可以实现数据从K...
-
04_Flume之HTTPSource参数解析一、介绍 Flume 1.9.0 版本的 HTTPSource 是一种数据源类型，可以用于接收通过 HTTP 协议传输的数据。这个版本中，HTTPSource 新增了许多参数...
-
03_Flume之TaildirSource参数解析一、介绍 TaildirSource是一种常用的数据源类型，可以实时监控指定目录下新增或修改的文件，并将其发送到Flume的Channel中供后续处理或转发。 Taildir...
-
02_Flume之各种Source的介绍及参数解析
一、Source介绍 Source用于对接各种数据源，将收集到的事件发送到临时存储Channel中。 常用的source类型有：Avro Source、Exec Source...
-
01_Flume之介绍入门1．概述 Flume是一个高可靠、高可用、分布式的用于不同数据源的流式数据采集、收集、聚合系统。flume最简单的数据流模型如下图所示。 Flume是Cloudera提供的一...
-
Hadoop 集群间使用DistCp同步数据(高可用)-相同版本
Hadoop 集群间使用DistCp同步数据(高可用)-相同版本 版本：Hadoop2.7.7 一、关于集群间数据同步 集群间数据同步，可以从原集群推送数据到目标集群，此时会...
-
数仓--DW--Hadoop数仓实践Case-18-拉链表实践拉链表在数仓的实际开发中应用广泛，切实解决优化存储重点是对变化的数据进行统一管理，和缓慢变化维的处理还是不一样的。注意对比学习 拉链表概述 拉链表是针对数据仓库设计中表存储数...
