【HDFS】EC decode过程源码阅读

通过本文可以获得如下知识:

  • StripeReader#readStripe源码逻辑。
  • readDataForDecoding、readParityChunks方法源码详细分析。
  • prepareDecodeInputs、prepareParityChunk方法源码详细分析。
  • readChunk、getNextCompletedStripedRead方法源码详细分析。
  • decode方法简要逻辑介绍

一、背景

读EC文件的时候,假设我们使用RS(k,m)的算法,则最多允许m个data cell的读取失败,然后可以通过k-m个数据块和m个校验块对丢失的(missing)data cell进行解码还原。

本文就是介绍EC读流程中,如果遇到数据块missing的情况下的EC解码(decode)过程。主要就是对StripeReader#readStripe方法及其内部调用的关键方法进行源码解析。

二、StripeReader#readStripe整体流程

为什么要从这个readStripe方法开始呢? 因为在StripedInputStream的read的方法内部,有两个用来读stripe的方法:
DFSStripedInputStream#fetchBlockByteRangeDFSStripedInputStream#readOneStripe,内部就是使用readStripe方法来对条带数据进行读取。

StripeReader#readStripe方法的主要功能:

/**
* read the whole stripe. do decoding if necessary。
* 翻译:读取整个条带、如果有需要的话需要做解码操作(data chunk miss掉的情况,需要读parity校验块,然后解码出miss掉的数据块)。
**/

readStripe方法代码如下,这里我先把所有代码粘贴出来并给出大概的注释,后面我们会对readStripe方法按步骤进行拆解并详细注释。

  /**
   * read the whole stripe. do decoding if necessary
   */
  void readStripe() throws IOException {
    // 第一部分:读数据块,如果读失败了则把missingChunksNum + 1,记录一下missing的块数
    for (int i = 0; i < dataBlkNum; i++) {
      if (alignedStripe.chunks[i] != null &&
          alignedStripe.chunks[i].state != StripingChunk.ALLZERO) {
        if (!readChunk(targetBlocks[i], i)) {
          alignedStripe.missingChunksNum++;
        }
      }
    }
    // There are missing block locations at this stage. Thus we need to read
    // the full stripe and one more parity block.
    // 第二部分:如果missingChunk的个数大于0,则我们就需要读整个条带和对应个数的校验块。
    if (alignedStripe.missingChunksNum > 0) {
      checkMissingBlocks();
      // 构造decodeInputs这个变量的data chunk部分。
      // 从不同datanode上读取条带中的data chunk数据。
      readDataForDecoding();
      // read parity chunks
      // 构造decodeInputs这个变量的parity chunk部分。
      // 从不同datanode上读取条件中的parity chunk数据
      readParityChunks(alignedStripe.missingChunksNum);
    }
    // TODO: for a full stripe we can start reading (dataBlkNum + 1) chunks

    // Input buffers for potential decode operation, which remains null until
    // first read failure
    // 在上面readChunk时或者readParityChunks里,会创建一些异步的读任务加到futures这个Map里,这里就是去异步的获取每一个读请求的状态的。
    while (!futures.isEmpty()) {
      try {
        //  获取下一个已经完成的Striped Read任务结果。
        // 这个方法内部会去调用Java的CompletionService框架的take和get方法,如果遇到读任务异常,会catch住ExecutionException异常,然后返回的读结果状态是FAILED
        StripingChunkReadResult r = StripedBlockUtil
            .getNextCompletedStripedRead(service, futures, 0);
        dfsStripedInputStream.updateReadStats(r.getReadStats());
        if (DFSClient.LOG.isDebugEnabled()) {
          DFSClient.LOG.debug("Read task returned: " + r + ", for stripe "
              + alignedStripe);
        }
        StripingChunk returnedChunk = alignedStripe.chunks[r.index];
        Preconditions.checkNotNull(returnedChunk);
        Preconditions.checkState(returnedChunk.state == StripingChunk.PENDING);

        if (r.state == StripingChunkReadResult.SUCCESSFUL) {
          returnedChunk.state = StripingChunk.FETCHED;
          alignedStripe.fetchedChunksNum++;
          updateState4SuccessRead(r);
          // fetch到的chunk数等于数据块数,证明读取未发生异常。
          if (alignedStripe.fetchedChunksNum == dataBlkNum) {
            clearFutures();
            break;
          }
        } else {
          // 如果读请求发生了异常,返回的读结果状态就是FAILED,就会走到这个else里
          returnedChunk.state = StripingChunk.MISSING;
          // close the corresponding reader
          dfsStripedInputStream.closeReader(readerInfos[r.index]);

          final int missing = alignedStripe.missingChunksNum;
          alignedStripe.missingChunksNum++;
          checkMissingBlocks();
          // 有异常的时候,需要读数据块进行解码。准备解码所需的decodeInput数组的数据块部分。  
          readDataForDecoding();
          // 有异常的时候,需要读parity块进行解码。准备解码所需的decodeInput数组的parity块部分。  
          readParityChunks(alignedStripe.missingChunksNum - missing);
        }
      } catch (InterruptedException ie) {
        String err = "Read request interrupted";
        DFSClient.LOG.error(err);
        clearFutures();
        // Don't decode if read interrupted
        throw new InterruptedIOException(err);
      }
    }

    if (alignedStripe.missingChunksNum > 0) {
      decode();
    }
  }

接下来拆解readStripe方法:

还有 71% 的精彩内容
©著作权归作者所有,转载或内容合作请联系作者
支付 ¥1.50 继续阅读
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352

推荐阅读更多精彩内容