hadoop之分布式文件存储hdfs

          HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase、Hive这两个核心工具也随着Hadoop发展变得越来越重要。今天我们只初步的看看HDFS.

       HDFS的体系架构

整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。


图中涉及三个角色:NameNode、DataNode、Client。NameNode是管理者,DataNode是文件存储者、Client是需要获取分布式文件系统的应用程序。

作为JAVA开发者来说,spring 绝对是我们的最大福因。大家一定要看一下这里,hadoop 套餐。里面有对hdfs,mapreduce,hive,hbase的访问封装,个人觉得秉承了spring一贯的简单实用风格,一定要赞一下。

下面,我们结合实际的例子阐述一下使用方法:

配置地址:


hadoop数据源初始化:



hdfs数据存储对象定义


文件对象写入


数据查询与过滤


最关键就是查询,你可以RefinableView的条件组合,搜寻你所要的数据。


语法理解:

with:等于 

from:大于等于

fromafter:大于

to:小于等于

tobefore:小于

小样:demo

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容