Hdfs基础与应用

一: HDFS是什么?

 源自于Google的GFS论文
 发布与2003年10月
 HDFS是GFS克隆版
    特点:
        1: 易于扩展的分布式文件系统
        2:    运行在大量普通廉价机器上,提供容错机制
        3:    为大量用户提供性能不错的文件存取服务

二: HDFS优点

 1.高容错性
        数据自动保存多个副本
        副本丢后,自动恢复
 2. 适合批处理
        移动技术而非数据
        数据位置暴露给计算框架
 3. 适合大数据处理
        GB,TB甚至PB级别数据
        百万规模以上的文件数量
        10k+节点规模
4.    流式文件访问
        一次性写入,多次读取
        保证数据一致性
 5. 可构建在廉价机器上
        通过多副本提高可靠性
        提高了容错和恢复机制 

三: HDFS缺点

 1. 低延迟数据访问
        比如毫秒级别
        低延迟与高吞吐率
  2. 小文件存取
        占用NameNode大量内存
        寻道时间超过读取时间
  3.并发写入,文件随机修改
        一个文件只能有一个写入
        仅支持append
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 课程地址:HDFS基本概念HDFS官方文档 目录 1、为什么需要分布式文件系统2、HDFS对文件的读取方式:流处理...
    拾壹北阅读 3,488评论 0 4
  • 一、HDFS概述及设计目标 1.是什么:Hadoop实现了一个分布式文件系统,源自于Google的GFS的论文,是...
    Aimerwhy阅读 606评论 0 1
  • 在中国营养学会的公众号上读到王兴国老师的文章后就开始关注老师,看到特训班的信息后就果断加入特训班。作为一个插班生还...
    雷凯淇阅读 247评论 12 8
  • 不知从什么时候起,我贪恋上那些细碎微小的事物 像树的沙沙声,被风扬起的柳絮树叶落下,水面漾起的波纹 当然还有光,你...
    远方的河阅读 381评论 0 1