HDFS和Yarn和MapReduce

image.png

nameNode是主节点,datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep

HDFS存储方式

是以块的形式存储的,128M最小单元。


image.png

NameNode存储

NameNode数据存储在
--内存中
--本地磁盘:
------1、fsimage:镜像文件(nameNode启动后生成的)
-------2、edites:编辑日志。

second NameNode

what:定期合并镜像文件和日志文件

YARN

YARN服务功能

MapReduce 离线计算框架

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中...
    时待吾阅读 5,689评论 0 0
  • (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中...
    时待吾阅读 10,828评论 0 1
  • 开始学习Hadoop了,其中很重要的一块就是它的存储系统-HDFS,先学学HDFS HDFS概述 HDFS源于Go...
    发光如星_275d阅读 7,015评论 0 0
  • 题记:正值学校运动会假期,想吸收点新鲜的血液。心血来潮搭了个hadoop的伪分布式,了解了下HDFS。 HDFS简...
    朱晓飞阅读 4,183评论 0 0
  • 超级个体的【每日一问】:7/30 有哪3个工具或者方法是极大程度提高你的工作效率的利器? Keynote (Mac...
    克拉克拉克阅读 2,118评论 0 0

友情链接更多精彩内容