【HDFS】如果文件的lastblock的最后一个chunk不满512字节,会生成checksum么?

如题,本文试图弄清楚这样一个问题:
如果文件的最后一个block的最后一个chunk里的数据不足512字节,那么还会为其生成checksum么?

先给出答案:会生成。 接着我们再去探究过程。

客户端在发送数据之前,为每一个chunk生成4字节的checksum。如果不满一个chunk,也是会生成4字节的checksum的。
相关代码在FSOutputSummer#writeChecksumChunks方法里:

此方法作用是为给定data chunks 生成checksum,然后输出chunks&checksum。
此方法调用点有:write1、flushBuffer。

  /** Generate checksums for the given data chunks and output chunks & checksums
   * to the underlying output stream.
   */
  private void writeChecksumChunks(byte b[], int off, int len)
  throws IOException {
    // DataChecksum对象的方法, 如果NativeCrc32可用,则用native计算,
    // 如果NativeCrc32不可用,则用java.util.zip.Checksum的update方法去计算。
    // 执行完这个方法后,参数checksum字节数组会被计算出来的校验和填充。
    sum.calculateChunkedSums(b, off, len, checksum, 0);
    TraceScope scope = createWriteTraceScope();
    try {
      // 这个for循环就是为每个chunk匹配对应的checksum。writeChunk底层会写到输出流的curPacket里。
      // curPacket已经按照提前计算好的数据和checksum字节数做了slice。所以这里for循环的每次迭代都会向DFSPacket里写入一个chunk和其checksum。
      for (int i = 0; i < len; i += sum.getBytesPerChecksum()) {
        int chunkLen = Math.min(sum.getBytesPerChecksum(), len - i);
        int ckOffset = i / sum.getBytesPerChecksum() * getChecksumSize();
        writeChunk(b, off + i, chunkLen, checksum, ckOffset,
            getChecksumSize());
      }
    } finally {
      if (scope != null) {
        scope.close();
      }
    }
  }

再深入了解一点,上面的writeChecksumChunks方法有一处调用点在flushBuffer里。这是个关键的方法,它的两个参数使我们需要弄懂的。

所以这里又引申出flushBuffer的两个参数(文末会有这两个参数含义的总结,可以先去看,然后再返回到这里):

还有 72% 的精彩内容
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
支付 ¥1.00 继续阅读

相关阅读更多精彩内容

友情链接更多精彩内容