搭建日志组件链

正常来说 ，数据的原点是日志file ，数据的终点是HDFS，为了让数据流起来 ，如何跨越重重网络和机器的阻碍 到达 终点 是很多人锁考虑的，为了 离线或者实时处理数据计算，我们需要对 组建日志 系统有一个清晰的认识，
比如 1. kafka --->flume---->HDFS---->SPARK streaming
或者2. flume--->kafka --->Spark streaming --->HDFS
第一种可以用作实时 或者离线，第二种主要用作实时处理
这中间 可能还会有 什么 redis 或者 MongoDB 一些Nosql 数据，我们就要看这些Nosql数据到底是想存储为主还是计算为主，存储的话就是往 Hdfs上发，计算的话就是往 Spark Streaming上发送

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容