不忘初心，砥砺前行 ——菜牛
Apache Phoenix在Hadoop中为低延迟应用程序支持OLTP和操作分析。
- 具有全ACID事务功能的标准SQL和JDBC api的强大功能（注：ACID指数据库事务正确执行的四个基本要素的缩写。包含：原子性、一致性、隔离性、持久性 ）
- 通过利用HBase作为它的备份存储，可以灵活地使用NoSQL世界中的延迟绑定、模式读取功能
Phoenix是HBase的开源SQL应用层。您可以使用标准的JDBC api而不是常规的HBase客户机api来创建表、插入数据和查询HBase数据。
一、如何安装
安装环境：centos7
1、下载解压安装
下载地址http://phoenix.apache.org/download.html
选择相应hbase的版本下载image.png
解压安装
wget http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.1/bin/apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz
tar xvf apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz -C /opt/
ln -s /opt/apache-phoenix-4.14.1-HBase-1.1-bin/ /opt/apps/phoenix
忽视
tar: Ignoring unknown extended header keyword `SCHILY.dev'
tar: Ignoring unknown extended header keyword `SCHILY.ino'
tar: Ignoring unknown extended header keyword `SCHILY.nlink'
2、添加 phoenix-[version]-server.jar 到所有master和regionserver的lib/下，并重启hbase
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data4:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data5:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data6:/opt/apps/hbase/lib/
3、启动phoenix
cd /opt/apps/phoenix/bin/
./sqlline.py hdc-data4,hdc-data5,hdc-data6:2181
image.png
自动生成Phoenix系统表
image.png
phoenix语法：http://phoenix.apache.org/language/index.html
3.1测试实例
- 创建hbase测试表及插入测试数据，在hbase shell下进行
create 'test','cf1', 'cf2'
put 'test', 'key1','cf1:name','zhangsan'
put 'test', 'key1','cf1:sex','男'
put 'test', 'key1','cf1:age','20'
put 'test', 'key1','cf2:address','beijing'
put 'test', 'key2','cf1:name','lisi'
put 'test', 'key2','cf1:sex','男'
put 'test', 'key2','cf1:age','21'
put 'test', 'key2','cf2:address','tianjin'
put 'test', 'key3','cf1:name','wangwu'
put 'test', 'key3','cf1:sex','女'
put 'test', 'key3','cf1:age','19'
put 'test', 'key3','cf2:address','guangdong'
image.png
- phoenix shell下创建view映射hbase表
注意：无论列名还是表名有大小写区分，若为小写需要用双引号，否则默认转大写。
这里就不阐述创建table或view映射hbase的区别了。另外hbase和phoenix的数据类型映射比较苛刻，比如实例中的age若创建成INTEGER会报错，因为INTEGER要求是4byte的二进制，二age的值序列化的时候只有2byte。
具体数据类型参考 http://phoenix.apache.org/language/datatypes.html
CREATE view "test" (
"ROW" VARCHAR primary key,
"cf1"."name" VARCHAR,
"cf1"."sex" VARCHAR,
"cf1"."age" VARCHAR,
"cf2"."address" VARCHAR
);
select * from "test";
select avg(to_number("age")) as avg_age from "test";
结果示例：image.png
image.png
说明：2E+1等于2乘以10的1次方
- 创建表映射hbase,禁用列映射规则（column_encoded_bytes=0），否则查不出数据。
CREATE table "test" (
"ROW" VARCHAR primary key,
"cf1"."name" VARCHAR,
"cf1"."sex" VARCHAR,
"cf1"."age" VARCHAR,
"cf1"."pay" VARCHAR,
"cf1"."ct" VARCHAR
) column_encoded_bytes=0;
4、常见问题(FQA)
http://phoenix.apache.org/faq.html#
Q1:由于升级或旧版本残留导致phoenix无法自动创建表
通过zookeeper客户端删除/hbase/table/SYSTEM* 开头的六张残留表信息，重新启动phoenix即可。
二、安装SQuirrel客户端
SQuirreL SQL客户端是一个图形化的Java程序，它允许您查看JDBC兼容数据库的结构、浏览表中的数据、发出SQL命令等等。
1、下载安装
官网下载：http://squirrel-sql.sourceforge.net/#overview
选择安装Windows环境下的 SQuirrel客户端image.png
SQuirreL 客户端是基于java安装，基于这个前提当前操作系统需要安装java环境。
在cmd命令行进入squirrel-sql-<version>-install.jar存放目录。执行以下命令
java -jar squirrel-sql-3.9.0-install.jar
image.png
image.png
修改安装路径image.png
image.png
选择需要的插件，phoenix支持兼容jdbc连接的数据库，通过以下截图可以看出支持的数据库列表。可以选择你想要安装的数据库，全部安装也不费事，所以我选择了安装所有的，然后等待安装完成image.pngimage.pngimage.pngimage.png
安装完成image.png
下一步直接默认，完成image.png
2、配置Squirrel客户端
step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar(即phoenix-4.14.1-HBase-1.1-client.jar)到squirrel-sql安装目录lib/下
step2: 添加驱动如下图所示
image.png
说明：
1、选择“驱动程序”添加新的驱动程序
2、填写驱动程序名称：Phoenix
3、填写驱动地址示例：jdbc:phoenix:zk1host,zk2host,zk3host:2181 ，hbase通过zookeeper连接
4、填写驱动类名：org.apache.phoenix.jdbc.PhoenixDriver
5、确定完成
image.png
3、创建连接
注意!!!
必须在 C:\Windows\System32\drivers\etc\hosts中配置ip和服务器主机名映射，且zookeeper主机IP映射的主机名一定要和服务器主机名配置的一样，否则以下步骤就会连接不成功。
image.png
说明：
1、创建好驱动后，选择别名新建连接
2、点击+号新建
3、填写连接名字(自定义)，选择驱动程序Phoenix，填写地址jdbc:phoenix:hdc-data1,hdc-data2,hdc-data3:2181,有户名密码为Phoenix服务器的登录用户和密码，可以不填留空。
4、选择自动登录，然后点击测试
5、显示连接成功，若还出现问题。进行排查或者度娘解决
再次提醒，写sql时 列名和表名去区分大小写，若要小写请用双引号括住，否则默认看成大写
image.png
三、Python Driver for Phoenix
Apache Phoenix的Python驱动程序实现了Python DB 2.0 API，通过Phoenix查询服务器访问Phoenix。该驱动程序使用Python 2.7、3.5和3.6进行了测试。
1、首先在Phoenix服务器启动python服务
./bin/queryserver.py
2、安装
way 1: 通过pip安装(方便直接)
pip install phoenixdb
way 2: 从github下载源码手动安装
cd /path/to/python-phoenix-x.y.z/
python setup.py install
3、测试实例
示例代码,注意区分大小写
import phoenixdb
with phoenixdb.connect('http://hdc-data4:8765/', autocommit=True) as connection:
with connection.cursor() as cursor:
cursor.execute("DROP TABLE IF EXISTS test")
cursor.execute("CREATE TABLE test (id INTEGER PRIMARY KEY, text VARCHAR)")
cursor.executemany("UPSERT INTO test VALUES (?, ?)", [[1, 'hello'], [2, 'world']])
cursor.execute("SELECT * FROM test ORDER BY id")
for row in cursor:
print(row)
image.png
image.png
4、推荐客户端-DBeaver
step1:下载客户端配置并解压
step2:客户端驱动文件获取：
step3：将解压后的hbase-site.xml文件添加到客户端驱动文件中
首先去掉一些配置，否者无法连接成功
step4:添加驱动包
5、JAVA连接池
import com.alibaba.druid.pool.DruidDataSource;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.mybatis.spring.SqlSessionTemplate;
import org.mybatis.spring.boot.autoconfigure.MybatisProperties;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.Resource;
import org.springframework.core.io.support.PathMatchingResourcePatternResolver;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import javax.sql.DataSource;
import java.util.Properties;
/**
* phoenix数据源配置
*/
@Configuration
public class PhoenixBatisConfig {
@Value("${mybatis.typeAliasesPackage:com.cloud.unknown}")
private String typeAliasesPackage;
@Value("${mybatis.mapperLocations}")
private String mapperLocations;
@Value("${spring.datasource.phoenix.jdbc-url}")
private String url;
@Value("${spring.datasource.phoenix.driver-class-name}")
private String driverClassName;
@Value("${spring.datasource.phoenix.username}")
private String userName;
@Value("${spring.datasource.phoenix.password}")
private String password;
@Value("${spring.datasource.phoenix.default-auto-commit}")
private boolean autoCommit;
@Autowired
private MybatisProperties properties;
@Bean(name = "phoenixDataSource")
public DataSource phoenixDataSource() {
DruidDataSource dataSource = new DruidDataSource();
dataSource.setDriverClassName(driverClassName);
dataSource.setUrl(url);
dataSource.setUsername(userName);//phoenix的用户名默认为空
dataSource.setPassword(password);//phoenix的密码默认为空
dataSource.setDefaultAutoCommit(autoCommit);
// dataSource.setConnectionProperties("phoenix.schema.isNamespaceMappingEnabled=true");
// dataSource.setValidationQuery("select 1 from dual");
Properties props = new Properties();
props.setProperty("phoenix.schema.isNamespaceMappingEnabled", Boolean.toString(true));
props.setProperty("phoenix.schema.mapSystemTablesToNamespace", Boolean.toString(true));
dataSource.setConnectProperties(props);
return dataSource;
}
@Bean(name = "phoenixTransactionManager")
public DataSourceTransactionManager phoenixTransactionManager(@Qualifier("phoenixDataSource") DataSource phoenixDataSource) {
return new DataSourceTransactionManager(phoenixDataSource);
}
@Bean(name = "phoenixSessionFactory")
public SqlSessionFactory phoenixSessionFactory(@Qualifier("phoenixDataSource") DataSource phoenixDataSource)
throws Exception {
SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
// sessionFactory.setDataSource(phoenixDataSource);
// Resource[] resources = new PathMatchingResourcePatternResolver().getResources(mapperLocations);
// sessionFactory.setTypeAliasesPackage(typeAliasesPackage);
// sessionFactory.setMapperLocations(resources);
sessionFactory.setDataSource(phoenixDataSource);
sessionFactory.setTypeAliasesPackage(properties.getTypeAliasesPackage());
sessionFactory.setConfiguration(properties.getConfiguration());
Resource[] resources = new PathMatchingResourcePatternResolver().getResources(properties.getMapperLocations()[0]);
sessionFactory.setMapperLocations(resources);
return sessionFactory.getObject();
}
@Bean("phoenixSqlSessionTemplate")
public SqlSessionTemplate phoenixSqlSessionTemplate(
@Qualifier("phoenixSessionFactory") SqlSessionFactory sessionfactory) {
return new SqlSessionTemplate(sessionfactory);
}
}
