Avatar notebook default
Hadoop
20篇文章 · 24325字 · 5人关注
  • HDFS Centralized Cache对MapReduce的影响

    在YARN源码解析(5)-MapReduce中，在数据本地节点分配Task是如何做到的？中，我们介绍了MapReduce如何在block所在的H...

    436 0 0
  • HDFS Centrailzed Cache会放到哪个DataNode上

    前几天，在看Hadoop User Email List的时候，发现了一个关于HDFS Centrailzed Cache的问题。刚好我又不熟悉...

    565 0 0
  • Resize,w 360,h 240
    HDFS源码解析(5)-replication

    replication在HDFS中的地位极高，很多地方都用到了它。比如我们前面介绍的lease recovery，以及你通过hdfs dfs -...

    1291 0 0
  • Resize,w 360,h 240
    HDFS源码解析(4)-DataNode删除过期block

    在上篇文章中，我们最后抛出一个问题，即DataNode怎么知道那些block是corrupt的，或者是过期的，并删除它。 在这篇文章中，会介绍这...

    788 0 0
  • Resize,w 360,h 240
    HDFS源码解析(3)-lease recovery

    Lease recovery指的是，当一个文件超过一个时间段，没有Client和它交互，自动关闭这个文件的过程。 一般出现这种情况是由于Clie...

    948 0 0
  • Resize,w 360,h 240
    HDFS源码解析(2)-block report

    除了heartbeat，block report应该说是HDFS中另一个最重要的RPC。 DataNode通过block report告诉Nam...

    0.1 3322 0 1
  • Resize,w 360,h 240
    HDFS源码解析(1)-heartbeat

    heartbeat是HDFS中最重要的RPC中的一个，DataNode通过heartbeat告诉NameNode的关于DataNode的存活状态...

    1250 0 0
  • YARN源码解析(10)-AuxliaryService

    这篇文章，实际上并不是源码解析，而是翻译的一篇文章。 在我读过这部分的代码之后，看到了这么一篇文章。介绍的也不错，于是，就直接翻译过来了。 Au...

    0.1 3383 0 1
  • Resize,w 360,h 240
    YARN源码解析(9)-ApplicationMaster容错

    在上一篇文章中，我们介绍了TaskAttempt是如何做到容错的。我们可以看到，TaskAttempt的容错很简单，就是ApplicationM...

    0.2 622 0 1

文集作者