hadoop之HDFS

HDFS基础:

分布式文件系统,适合一次写入,多次读出的场景,适合用来做数据分析

HDFS的组成架构:

Namenode:是master,存储元数据信息,配置副本策略,处理客户端的请求,
DataNode:是slave 存储实际数据,执行数据的读写操作,
Secondary namenode:辅助namenode,定期合并镜像文件和日志文件,并推送给namenode;在紧急情况下,可以用来恢复namenode

HDFS 文件块大小:(面试重点)

Hadoop2默认大小是128M,hadoop1默认大小是64M,
原因:寻址时间大约是10ms,寻址时间为传输时间的1%时认为是最佳状态,所以传输时间10ms/0.01=1s,而且当前磁盘的传输速率大约100M/s ,所以块大小就是128M
【参数优先级】客户端代码中设置的值 > classPath下的用户自定义配置文件 > 服务器默认配置值
HDFS写数据流程:(面试重点)


3.png

HDSF读数据流程:(面试重点)

4.png

Namenode的工作机制:(面试重点)


5.png

DataNode工作机制:(面试重点)


6.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 目录一 HDFS概念1.概念2.组成3 HDFS 文件块大小二.HDFS命令行操作1.基本语法2.参数大全3.常用...
    Movle阅读 1,652评论 0 5
  • Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分...
    逍遥ii阅读 1,155评论 3 20
  • 1 HDFS 概述 1.1 HDFS 产出背景及定义 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分...
    djm猿阅读 408评论 0 0
  • 第1章 HDFS概述 1.1 HDFS定义 HDFS(Hadoop distributed System),它是一...
    白纸糊阅读 387评论 0 0
  • hdfs是什么? 问题: 1. hdfs是基于什么样的原理将文件分块存储到分布式环境中的各个设备上的? 2. h...
    4762d2980c91阅读 4,789评论 0 6