发简信
IP属地：上海
-
Hadoop 文件分片 split的源码分析
block概念block是hdfs中的物理分区，默认一个block的大小是128MB，当上传到hdfs的文件超过128MB后，会把超过的部分进行...
-
本地java程序连接阿里云服务器Hadoop失败
问题描述：在阿里云服务器搭建完Hadoop环境后，在服务器上用shell命令可以读取写入文件在本地java程序可以连接hadoop，并创建路径。...
-
HDFS元数据机制与checkpoint
元数据存在namenode中，主要是描述数据属性的信息，用来支持如存储位置、历史数据、资源查找、文件记录功能。Namenode中的元数据就是记录...
-
客户端读、写数据到HDFS的流程客户端写数据到HDFS的流程 1.客户端请求hdfs写数据（假设是一个150M的文件）。2.nameNode返回请求是否联通的标识。3.客户端请...
-
Hadoop Java API
获取HDFS客户端对象 创建文件夹 读取HDFS文件 创建文件、写文件 重命名文件 从本地复制文件到hdfs 复制文件到本地 删除文件 查看文件...
-
Hadoop命令
启动/停止 sbin/ shell-like命令 /bin
-
修改es副本数量
设置现有的index的副本数量为0个。---集群健康值为yellow的解决办法curl -u "elastic" -X PUT "10.13.3...
-
es性能调优
elk上线所有应用后，发现日志有延迟现象，少则延迟几分钟，多则延迟半个多小时，查看kafka，发现有大量的消息堆积，于是，我就多增加了几台log...
-
Elasticsearch-head插件安装
Elasticsearch Head是es集群管理、数据可视化、增删改查、查询语句可视化工具。安装之前要先安装node.js环境 1.安装nod...