有些代码初次阅读并不能看出其中的处理细节，但是当过一段时间对这个部分熟悉了之后再来阅读，就能发现并体会其中的细节。 本文说一下FSOutputSummer#write1的细节...
发简信
IP属地：广东
-
【HDFS-Client系列】FSOutputSummer#write1方法的细节
-
【HDFS】如果文件的lastblock的最后一个chunk不满512字节，会生成checksum么？
如题，本文试图弄清楚这样一个问题：如果文件的最后一个block的最后一个chunk里的数据不足512字节，那么还会为其生成checksum么？ 先给出答案：会生成。 接着我们...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定义adjustCrcChannelPosition方法。应用场景在：append，block recovery等场景。 方法的作用是设置che...
-
【HDFS】DFSPacket中lastPacketInBlock字段的关键作用！
这篇文章介绍了DFSPacket对象的lastPacketInBlock字段相关的知识。【HDFS Client】DFSPacket对象什么情况下是lastPacketInB...
-
【HDFS Client】DFSOutputStream细节（未完成）
前言 本文主要介绍以下内容：DFSOutputStream里的一些重要方法的作用DFSOutputStream里关于写Packet的一些有趣的配置项。 重要方法 abort：...
-
【HDFS Client】DFSPacket对象什么情况下是lastPacketInBlock？前言：本篇文章主要回答了如下问题：① HDFS客户端写数据时怎么界定一个DFSPacket对象是此block里的最后一个DFSPacket？② DFSPacket对象里的la...
-
protobuf协议兼容处理
目标： 了解protobuf是如何做协议兼容的。 问题： 在protobuf中，是怎么做到新旧协议传输的兼容的，比如：（问题一）在新的协议里面增加了一个字段，传输到另一方是如...
-
【HDFS】BlockSender发送数据源码详解本文包含如下内容：1、BlockSend在发送数据之前读数据文件和meta文件生成的Packet的结构。2、BlockSender的核心方法：sendBlock和sendPa...
-
-
【HDFS】从BlockPoolSlice#createRbwFile到BlockReceiver()
BlockPoolSlice#createRbwFile的过程 FsDatasetImpl#createRbw的源码详解 需要构造BlockReceiver的几种情况讨论 从...
-
【HDFS】FsDatasetImpl系列文章
【HDFS】FsDatasetImpl#recoverClose方法[https://blog.csdn.net/yexiguafu/article/details/1290...
-
【HDFS】一个RPC的生命周期，从服务端接收到响应的各个阶段的统计指标注：本文参考的hadoop版本是：3.3.2 RPC生命周期 在ProcessingDetails.Timing枚举类里： TODO：画一幅图，标注出每个阶段。 Handle...
-
openJDK源码下载对于英文不好的同学，在国外的网站下载各种工具代码， 是非常痛苦的。今天分享下openJDK源码是如何下载的。 1.打开openjdk网站 打开链接 2.点击想要下载的jdk的...
-
Linux内核之文件系统如何描述一个文件 文件在内存和磁盘上是如何描述的：每个文件至少要有一个数据结构存放该文件的信息，包括uid、gid、flag、文件长度、文件内容存放位置的数据结构等。在Lin...
-
我在maven public仓库里看到有gdal的包，直接用那个不行么?
【Java】maven-shaded-plugin超详细详解
一、总体介绍 maven-shaded-plugin提供了两大基本功能： 将依赖的jar包打包到当前jar包（常规打包是不会将所依赖的jar包打进来的）； 对依赖的jar包进...
-
【Linux】物理CPU、CPU核数、逻辑CPU、超线程基本概念 物理CPU： 物理CPU就是插在主机上的真实的CPU硬件，在Linux下可以数不同的physical id 来确认主机的物理CPU个数。 核心数： 物理CPU的下一...
-
查看核心数的命令有问题，得在uniq前加个sort
[转]物理CPU、CPU核数、逻辑CPU、超线程
转自：http://wulc.me/2016/01/06/物理CPU、CPU核数、逻辑CPU、超线程/ 基本概念 物理CPU：物理CPU就是插在主机上的真实的CPU硬件，在L...
-
【HDFS】一文搞懂WebHDFS
本文包含的主要内容如下：① WebHDFS的原理② ExternalCall以及WebHdfs请求如何与RPC共用CallQueue③ ExternalCall的执行与响应过...
-
HDFS使用RBF注意事项
RBF 需要优化的配置 NameNode 侧 NN 启用 RPC context 特性，在审计日志中打印真实的客户端 IP.默认情况下，NN 的审计日志记录的所有请求的源 I...
-
【HDFS】Hadoop RPC是如何知道请求头和数据长度的？
org.apache.hadoop.ipc.Server.Connection#readAndProcess: 下面这段代码读取出RPC Header + RPC请求体的长度...
