大家好,我是Iggi。
今天我给大家分享的是HBase-2.0.2版本的实验示例。
首先用一段文字简介HBase:
2006年Google发表论文BigTable。在同年底微软旗下自然语言搜索公司Powerset面向大数据处理需求,参考BigTable论文思想,启动了HBase项目并与2008年正式将它捐赠给Apache。在2010年HBase成为Apache的顶级项目。
HBase是基于Hadoop的开源分布式数据库。它以Google的BigTable为原型,实现了具有高可靠性、高性能、列式存储、可伸缩、实时读/写的分布式数据库系统。列式数据库将数据存储在列族中。在创建数据库时只需要制定表是在哪个命名空间下、有哪些列族即可。相同属性的数据会存储到同一个列族中。例如下表:
想更深入的了解HBase知识的同学可以参考以下连接:
http://abloz.com/hbase/book.html#rowkey.design
好,下面进入正题。介绍Java操作HBase数据库完成上图示例。
首先,使用IDE建立Maven工程,建立工程时没有特殊说明,按照向导提示点击完成即可。重要的是在pom.xml文件中添加依赖包,内容如下图:
将集群中HBase配置中的hbase-site.xml文件拷贝到工程中resource中,如图所示:
展示实验代码如下:
package linose.hbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;
//import org.apache.log4j.BasicConfigurator;
/**
* Hello HBase!
*
*/
public class AppHBase
{
public static void main( String[] args ) throws IOException
{
/**
* 设定MapReduce示例拥有HBase的操作权限
*/
System.setProperty("HADOOP_USER_NAME", "hbase");
/**
* 为了清楚的看到输出结果,暂将集群调试信息缺省。
* 如果想查阅集群调试信息,取消注释即可。
*/
//BasicConfigurator.configure();
/**
* 生成配置,并设定HBase所需的基本参数
*/
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "master1.linose.cloud.beijing.com,master2.linose.cloud.beijing.com,master3.linose.cloud.beijing.com");
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("ZooKeeper Znode Parent", "/hbase-unsecure");
/**
* 连接HBase数据库
*/
Connection conn = ConnectionFactory.createConnection(conf);
/**
* 获取admin操作对象
*/
Admin admin = conn.getAdmin();
/**
* 获取命名空间,如果没有就创建新的命名空间。
*/
String strNameSpace = "ns1";
NamespaceDescriptor nameSpace = admin.getNamespaceDescriptor(strNameSpace);
if (null == nameSpace) {
nameSpace = NamespaceDescriptor.create(strNameSpace).build();
admin.createNamespace(nameSpace);
}
/**
* 定义表名称是employee,表下有两个列族basic、depart
*/
String strTableName = "employee";
String strFullTableName = strNameSpace + ":" + strTableName;
String familyNames[] = {"basic", "depart"};
/**
* 获取表名称对象
*/
TableName tableName = TableName.valueOf(strFullTableName);
/**
* 判断该表是否可用
*/
if (!admin.isTableAvailable(tableName)) {
/**
* 创建新表,并添加列族
*/
TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
ColumnFamilyDescriptor familyDescriptor;
for (String name : familyNames) {
familyDescriptor = ColumnFamilyDescriptorBuilder.newBuilder(name.getBytes()).build();
tableDescriptor.setColumnFamily(familyDescriptor);
}
admin.createTable(tableDescriptor.build());
}
/**
* 插入数据
*/
String rowKey = "20190622101812362";
Put put = new Put(Bytes.toBytes(rowKey/*.hashCode()*/));
/**
* 插入列族basic信息,标识符与值随意写。
*/
put.addColumn(familyNames[0].getBytes(), "name".getBytes(), Bytes.toBytes("Iggi"));
put.addColumn(familyNames[0].getBytes(), "age".getBytes(), Bytes.toBytes("33"));
put.addColumn(familyNames[0].getBytes(), "gender".getBytes(), Bytes.toBytes("Male"));
/**
* 插入列族depart信息,标识符与值随意写。
*/
put.addColumn(familyNames[1].getBytes(), "department".getBytes(), Bytes.toBytes("technology"));
put.addColumn(familyNames[1].getBytes(), "post".getBytes(), Bytes.toBytes("Senior Engineer"));
/**
* 写入数据库
*/
Table table = conn.getTable(tableName);
table.put(put);
/**
* 扫描数据,不带过滤条件,将20条数据分1页显示出来。
*/
Scan scan = new Scan();
scan.setCaching(20);
scan.setCacheBlocks(false);
ResultScanner results = table.getScanner(scan);
int counter = 20;
Result[] rsList = new Result[counter];
int page = 1;
do {
rsList = results.next(counter);
if (rsList.length != 0) {
System.out.println("第" + page + "页");
}
for (Result result : rsList) {
for(Cell cell:result.rawCells()) {
String row = Bytes.toString(CellUtil.cloneRow(cell));
String family = Bytes.toString(CellUtil.cloneFamily(cell));
String qualifier = Bytes.toString(CellUtil.cloneQualifier(cell));
String value = Bytes.toString(CellUtil.cloneValue(cell));
System.out.println("行键数据:" + row + "\t列族:" + family + "\t标识符:" + qualifier + "\t存储值:" + value);
}
}
++page;
} while (0 != rsList.length);
/**
* 关闭结果集、表对象、操作对象、连接
*/
results.close();
table.close();
admin.close();
conn.close();
}
}
下图为测试结果:
至此,HBase-2.0.2 版本数据库实验示例演示完毕。
更多示例请参考:https://github.com/apache/hbase