查询条件对查询性能的影响
下面是一张存有商品的编号、日期、价格、销量、库存的数据表
CREATE TABLE IF NOT EXISTS Product (
id VARCHAR not null,
time VARCHAR not null,
price FLOAT,
sale INTEGER,
inventory INTEGER,
CONSTRAINT pk PRIMARY KEY (id, time)
) COMPRESSION = 'GZ', SALT_BUCKETS = 6
在这个 Phoenix SQL 创建的 HBase 表里，id 和 time 组成了 HBase 的 row key，并且 id 在前 time 在后，由于 HBase 的数据是以 row key 排序的，所以这里相当于先按 id 排序，再按 time 排序，这时如果以 id 和 time 以外的字段作为查询条件的话，都会导致全表扫描，即会查询所有的 row key，即需要遍历所有 id 的所有 time，因为 HBase 并不知道哪行记录存有满足条件的值，比如
select * from Product where price > 200
select * from Product where sale > 100
select * from Product where inventory < 50
如果以 time 查询，由于 time 是 row key 的后半部分，所以需要遍历所有 id 的部分 time，比如
select * from Product where time > '2020-01-01'
如果以 id 查询，由于 id 是 row key 的前半部分，可以直接把满足条件的数据找出来，比如
select * from Product where id > '10000'
可以看到，查询性能和 row key 的设计有很大关系，但一张表可能有多种查询需求，row key 的设计无法满足所有情况，这时可以通过创建索引提升查询性能
索引
如果希望提升以 sale 做查询条件时的性能，可以创建下面的索引
create index INDEX_PRODUCT on Product(sale) include(
price
) SALT_BUCKETS=6;
索引实际上是创建另一张 HBase 表，这张表按顺序以 sale、id、time 组成 row key（原表的 row key 一定会出现在索引表的 row key），而被 include 的 price 则在 CF 列，这样当查询条件是 sale，同时要获取的是 key 字段或是被 include 的字段时，Phoenix 会去索引表取值，由于在这个索引里 sale 是在 row key 的最前面，这样就能避免全表扫描，比如查询
select time, price from Product where sale > 100
但是如果要查询的字段即不是 key 也没被 include，这样依然会去查原表，比如
select * from Product where sale > 100
这时需要把 inventory 也 include 进来才会用到索引
（由于原表的 key 一定会加进来所以不用 include）
create index INDEX_PRODUCT on Product(sale) include(
price, inventory
) SALT_BUCKETS=6;
如果只是把第二个 key 即 time 做索引，比如
create index INDEX_PRODUCT on Product(time) SALT_BUCKETS=6;
那么索引表的 row key 由 time、id 组成，相当于原 row key 交换了顺序，并且没有 CF 值
触发索引的条件
总结一下触发索引需要满足以下条件
- where 字段是索引字段，或是索引字段和 key 字段
- select 字段是 key 字段，或是索引字段，或是被 include 的字段
索引对查询性能的影响
索引不一定能显著提升查询性能，这取决于数据分布和查询条件
如果是以 time 为查询条件，在原表需要查询所有 id 的部分 time，而在索引表是直接查询 time，这样如果满足查询条件的 id 很少，性能会有显著提升，如果满足查询条件的 id 本来就非常多，性能可能就没有明显提升
如果是以 sale 为查询条件，在原表需要查询所有 id 的所有 time，即需要查询原表所有 row key，而在索引表是直接查询 sale，一般来讲性能会有显著提升，除非满足查询条件的 id + time 非常多，即满足条件的原表 row key 非常多，那性能可能就没有明显提升
强制使用索引
在不把 inventory include 进来的情况下也可以强制使用索引表
通过在 select 时加上 /*+ INDEX(table index) */ 的方式
select /*+ INDEX(Product INDEX_PRODUCT ) */ * FROM Product where sale > 100
这样会强制查询索引表，但由于 inventory 其实不在索引表，最后还是会去查询原表，但可能会缩小查询范围
比如以 time 为查询条件，在原表需要查询所有 id 的部分 time，而先查询索引可以先过滤出满足查询条件的 id，再去原表查询满足条件的 id 的部分 time，如果过滤出来的 id 很少，性能会有显著提升，如果过滤出来的 id 非常多，性能可能就没有明显提升，甚至可能会有下降，因为要查两张表
同样的，如果以 sale 为查询条件，在原表需要查询所有 id 的所有 time，而先查索引表可以先过滤出满足条件的 id 和 time，再去原表查询过滤出来的 id 和 time，如果过滤出来的 id 和 time 比较少，性能会有显著提升，如果过滤出来的非常多，性能可能就没有明显提升，甚至会下降，因为要查两张表
对写性能的影响
索引会导致写性能下降，因为要写两张表，同时消耗更多的磁盘空间
explain 命令
可以通过 explain 命令查看数据库是如何查询的
explain select * from Product where sale > 100
异步创建索引
如果创建索引时原表已经有大量数据了，可能会等很长时间，这时可以使用异步创建的方式
create index INDEX_PRODUCT on Product(sale) include(
price
) ASYNC;
再用 hbase 命令触发执行
hbase org.apache.phoenix.mapreduce.index.IndexTool \
--data-table=Product \
--index-table=INDEX_PRODUCT \
--output-path=/user/spark/ASYNC_INDEX_HFILES <-- 必须先在 hdfs 创建这个目录
