登录
注册
写文章
首页
下载APP
会员
IT技术
大数据架构
我的丁一之旅
关注
赞赏支持
大数据架构
移动计算比移动数据更划算
HDFS--离线数据
数据库同步经常用 Sqoop,日志同步用 Flume,打点采集的数据经过格式化转换后通过 Kafka 等消息队列进行传递。
MapReduce
最后编辑于 :
2018.12.28 11:30:12
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读
更多精彩内容
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hado...
大时代_f479
阅读 4,778
评论 0
赞 11
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hado...
Alukar
阅读 3,935
评论 0
赞 11
经典大数据架构案例:酷狗音乐的大数据平台重构
本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进...
北京大数据苏焕之
阅读 7,627
评论 2
赞 32
大数据架构之数据处理
离线批量处理 海量处理计算框架:MapReduce。管理框架YARN改进了其缺点;计算框架Spark更迅速。在此基...
_Hook_
阅读 4,685
评论 0
赞 3
大数据架构的典型方式和方法
大量的IT组织如今都已自己的数据架构,因为都依赖于传统的数据架构。处理多数据源已不再新鲜;这些架构已经连接了多维度...
abel_cao
阅读 6,579
评论 0
赞 12
赞
1赞
赞赏
手机看全文