block概念block是hdfs中的物理分区，默认一个block的大小是128MB，当上传到hdfs的文件超过128MB后，会把超过的部分进行切边存储到其他的block。 ...
发简信
IP属地：上海
-
Hadoop 文件分片 split的源码分析
-
本地java程序连接阿里云服务器Hadoop失败
问题描述：在阿里云服务器搭建完Hadoop环境后，在服务器上用shell命令可以读取写入文件在本地java程序可以连接hadoop，并创建路径。 但是读取hdfs上的文件就报...
-
HDFS元数据机制与checkpoint
元数据存在namenode中，主要是描述数据属性的信息，用来支持如存储位置、历史数据、资源查找、文件记录功能。Namenode中的元数据就是记录hdfs存储信息数据的数据。 ...
-
客户端读、写数据到HDFS的流程客户端写数据到HDFS的流程 1.客户端请求hdfs写数据（假设是一个150M的文件）。2.nameNode返回请求是否联通的标识。3.客户端请求写入第一个数据块block1...
-
Hadoop Java API
获取HDFS客户端对象 创建文件夹 读取HDFS文件 创建文件、写文件 重命名文件 从本地复制文件到hdfs 复制文件到本地 删除文件 查看文件块信息 列出所有文件 文件夹 ...
-
Elasticsearch 的亿级数据查询毫秒级返回
很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。 第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 ...
-
Elasticsearch-head插件安装
Elasticsearch Head是es集群管理、数据可视化、增删改查、查询语句可视化工具。安装之前要先安装node.js环境 1.安装node npm 从node官网下载...
-
Elasticsearch集群搭建
Elasticsearch安装 es运行需要jdk1.8 下载es6.4安装包elasticsearch-6.4.0.tar.gz，解压即可 配置es：目录/config/e...
-
-
Hadoop环境搭建
安装版本：hadoop-2.6.0-cdh5.15.1下载地址：http://archive.cloudera.com/cdh5/cdh/5/jdk版本：1.8 单节点安装步...
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
