phoenix(凤凰)与Hbase集成

博客链接地址:https://blog.csdn.net/qq_33187206/article/details/80824414

一、什么是Phonenix?

Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。

Phoenix

完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。

Phoenix

通过以下方式使我们可以少写代码,并且性能比我们自己写代码更好:

将SQL编译成原生的HBase scans。确定scan关键字的最佳开始和结束让scan并行执行

二、phoenix下载

1、点击连接<apache仓库>下载


2、点击连接<官网下载>下载


三、安装phoenix

1、解压

$ tar -zxfapache-phoenix-4.8.0-HBase-0.98-bin.tar.gz -C ../modules/

2、 与hbase集成


 1)、将phoenix安装目录下的

phoenix-4.8.0-HBase-0.98-client.jar

phoenix-core-4.8.0-HBase-0.98.jar

拷贝到hbase的lib目录下

2)、将hbase/conf目录下hbase-site.xml 文件放到phoenix的bin目录下

四、启动phoenix

首先:zookeeper 进程需要打开

  $ bin/zkServer.shstart

其次:hadoop 的进程需要开启

 $ bin/start-dfs.sh

再次:hbase 的需要重启

 $bin/start-hbase.sh

最后:  在Phoenix文件夹下执行,指定zk的地址作为hbase的访问入口:

bin/sqlline.py [hostname]:2181

进入Phoenix命令行,执行

!tables


注意:第一次启动可能需要1分多钟的时间,之后就会很快,主要是在hbase中做了一些初始化工作,会创建以下3张表

SYSTEM.CATALOG

SYSTEM.SEQUENCE

SYSTEM.STATS

使用命令 !help 可以显示phoenix用法,下面是部分


如果 出现  import argparse 这个错误:

需要安装:$ sudoyum -y install python-argparse

五、测试

1、在show databases以及show tables是不支持的

2、-》!tables查看有什么表,hbase里面也会有phoenix的系统表

3、在phoenix中创建表

create table user(

id varchar primary key,

name varchar,

password varchar

);

1)、在hbase中是区分大小写的,在phoenix中不区分大小写,但是默认都是大写,加上双引号就是小写

2)、在hbase中desc "USER" 发现映射过来的表列簇默认是0,NAME => '0'

3)、重新创建,指定列簇与列

drop table user;

create table user(

id varchar primary key,

info.name varchar,

info.password varchar

);

4、添加数据:updata+insert结合--》upsert

upsert into user(id,name,password)values('001','admin','admin');

upsert into user(id,name,password)values('002','admin','admin');

5、查询数据:

select * from user;   

6、删除数据:

delete from user where id='002';

在phoenix中的client界面中进行的crud操作,与RDBMS的操作没有太大的区别

 7、hbase与phoenix表与表之间进行关联,将hbase中的表映射到phoenix

create table "stu_info"(

rowkey varchar primary key,

info"."name" varchar,

"info"."age" varchar,

"info"."sex" varchar,

"degree"."xueli" varchar,

"work"."job" varchar

); 

缺陷:hbase中的字段类型都是String类型,所以,phoenix中的映射表都得是 varchar类型为好

六、在Java项目中集成Phoenix

在Java项目中实现Phoenix操作Hbase,maven引入Phoenix的依赖包:

   org.apache.phoenix

   phoenix-core

   4.8.0-HBase-0.98

但是引入这个包是不够的,还需要另外引入一个依赖包

phoenix-4.8.0-HBase-0.98-client.jar

,这个依赖包可以在Phoenix文件中找到,也可以通过下载Phoenix源码,自行编译后导入,自此就可以通过java的JDBC访问操作Hbase。

java测试的源码如下:

public static void main(String args[]) {

    Connectionconnection = null;

    Statementstatement = null;

    try {

       Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");

        connection=DriverManager.getConnection("jdbc:phoenix:master:2181","","");

        statement =connection.createStatement();

       statement.execute("upsert into yinxiang_note values (3, 'note ofhuhong')");

        } catch(Exception e) {

           e.printStackTrace();

        } finally {

            try {

               connection.close();

               statement.close();

            } catch(Exception e) {

               e.printStackTrace();

            }

        }

    }




相关博客:

hive整合phoenix :https://www.aliyun.com/jiaocheng/828057.html

phoenix四贴:Phoenix四贴之一:扫盲贴

https://blog.csdn.net/qq1226317595/article/details/80375009

Phoenix三贴之二:Phoenix二级索引系统

https://blog.csdn.net/qq1226317595/article/details/82833782#comments

Phoenix四贴之三:hive整合

https://blog.csdn.net/qq1226317595/article/details/80375032

Phoenix安装使用及使用SQuirrel客户端连接操作Hbase

https://blog.csdn.net/NDF923/article/details/77838267

Phoenix 介绍和基本用法

https://blog.csdn.net/naioonai/article/details/80680023

Phoenix二级索引(Secondary

Indexing)的使用

https://www.cnblogs.com/MOBIN/p/5467284.html

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1 使用概述 2 环境配置 3 SQL特性详解 1)create:可以创建一张表或视图。表名如果没有用双引号括起来...
    4ea0af17fd67阅读 12,490评论 0 10
  • 转自 沈钊伟 HBase 在大数据生态圈中的位置 提到大数据的存储,大多数人首先联想到的是 Hadoop 和 Ha...
    wangxiaoda阅读 1,265评论 0 19
  • Apache Phoenix 常用操作 基础知识 1****、****Phoenix 主要技术点 a、将SQL转化...
    4ea0af17fd67阅读 8,281评论 0 2
  • 这是二十年后的我呢。 我的教师事业,因为十年前的学校失火已经结束了,可是还有一家老小,一个胖的不如当年风采的老婆,...
    角角散步去阅读 414评论 2 2
  • 上着一个不怎么喜欢的大学,有一个不怎么喜欢的专业及就业方向,但又不知道自己喜欢什么,想努力却不知道方向在哪里,怎么...
    虎虎是我阅读 147评论 0 0