一、前期工作

在Linux（我用的Ubuntu18.04）已经安装好Apache Hadoop2和Anaconda3，并已经安装了HBase（可参考4.6 HBase基本使用实践）

二、新建Python环境

先新建一个Python环境（如果使用之前建立好的则可以忽略此步骤）。
在shell中输入以下命令

$ conda create -n hadoop python=3.7

这样就创建了一个名为hadoop的python3.7环境。
然后激活此环境

$ conda activate hadoop

三、安装thrift和happybase

thrift 是facebook开发并提交给Apache的开源二进制通讯中间件通过thrift，我们可以用Python来操作Hbase。
happybase是Python通过Thrift访问HBase的库。
在上述Python环境下输入如下命令来安装thrift和happybase

pip install thrift
pip install happybase

注意：安装happybase可能会遇到错误

    unable to execute 'gcc': No such file or directory
    error: command 'gcc' failed with exit status 1

这是因为没有安装gcc（GNU Compiler Collection）。执行

sudo apt-get install gcc

安装好gcc后，再重新执行happybase安装命令即可。

四、启动HBase for Python

这里使用伪分布模式的HBase（配置方法参考https://www.jianshu.com/p/11f15025d6b2）
假设现在刚启动计算机（没有进入任何环境），首先启动HDFS——因为我已经把HDFS的目录添加在.bashr的PATH了，所以可以不加目录

$ start-dfs.sh #或输入完全路径/usr/local/hadoop/sbin/start-dfs.sh

接着启动HBase

$ start-hbase.sh #或输入完全路径/usr/local/hbase/bin/start-hbase.sh

以上是HBase核心启动过程（通常使用HBase都要有的步骤），下面是Python使用HBase的必要步骤。
启动thrift

$ hbase-daemon.sh start thrift

这时可以输入jps查看已启动的Java进程

4512 HQuorumPeer
3121 DataNode
5298 Jps
2914 NameNode
3379 SecondaryNameNode
5172 ThriftServer
4777 HRegionServer
4634 HMaster

Jps是Java的主进程，NameNode、SecondaryNameNode和DataNode是HDFS的进程，HMaster、HRegionServer和HQuorumPeer是HBase的进程，ThriftServer是Thrift的进程。八个进程都出现说明启动成功。

如果使用完毕要退出，则依次输入以下命令：
hbase-daemon.sh stop thrift
stop-hbase.sh
stop-dfs.sh

然后我们可以进入刚才建立的conda环境

$ conda activate hadoop

我使用Spyder来写Python脚本。如果没有安装，可输入

$ conda install spyder

安装好之后，输入

$ spyder

即进入Python IDE环境。
注意如果启动了SSH则可能无法使用Spyder（报错“QXcbConnection: Could not connect to display”）。如果不想使用IDE，也可以直接输入“python”进入Python命令行来操作。

五、Python下操作HBase

1. 创建HBase连接

在Python环境下，引入happybase库

import happybase

创建HBase连接

conn=happybase.Connection() #等效于conn=happybase.Connection()

其默认设置是

happybase.Connection(host=‘localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=‘0.98’, transport=‘buffered’, protocol=‘binary’)

连接建立好之后查看可以使用的table

print(conn.tables())

用其他方式（如shell）在HBase建立的table也会显示出来。如果还没有建立任何表则返回

[]

2. 新建表

创建表一个名为student2的表，包含五个属性（即列族）Sname、Ssex、Sage、Sdept和course

conn.create_table(
    'student2',
    {
        'Sname': dict(max_versions=10),
        'Ssex': dict(),
        'Sage': dict(),
        'Sdept': dict(),
        'course': dict()
    }
)

max_versions是指定最多保留的版本数，可缺省。
这时再输入

print(conn.tables())

则返回

[b'student2']

3. 添加数据

要操作已经创建的表，则先获取其table实例

ts=conn.table('student2')

添加主键（默认，可视为学号）为95001，名字（Sname列族）为YangXing的一行数据——注意所有输入都必须是字符串

ts.put(row='95001',data={'Sname:':'YangXing','course:math':'90'})

注意即使没有列限定符冒号也不能省（如上面的“Sname:”），这点和shell操作HBase不同。
put方法每输入一行都要和HBase通信一次，如果想多行一次性批量写入HBase可以使用batch

bat = ts.batch()
bat.put(row='95001',data={'course:english':'82'})
bat.put(row='93020',data={'Sname:':'WeiLiu','course:math':'87'})
bat.send()

为方便可利用上下文管理器with/as实现

with ts.batch() as bat:
    bat.put(row='95001',data={'course:english':'82'})
    bat.put(row='93020',data={'Sname:':'WeiLiu','course:math':'87'})

4. 查看数据

这里介绍三种方法：row、rows和scan。功能不同，酌情使用。

(1) row

如果想获取一行的数据，如行号95001

ts.row('95001')

输出

{b'Sname:': b'YangXing', b'course:english': b'82', b'course:math': b'90'}

如果想获取某行的某列族，如行号95001的course列族

ts.row(row='95001',columns=['course'])

注意course后不能加冒号，输出

{b'course:english': b'82', b'course:math': b'90'}

即输出此列族的所有列限定符内容。
如果想获取某行的某列族的某列限定符内容，如行号95001的course列族的english列

ts.row(row='95001',columns=['course:english'])

输出

{b'course:english': b'82'}

另外，可以通过设定来显示时间戳

ts.row(row='95001',columns=['course:english'],include_timestamp=True)

输出

{b'course:english': (b'82', 1587562954464)}

注意columns只能传入list或tuple，如[course]或(course,)。

(2) rows

可使用rows来获取多行

ts.rows(rows=['95001','93020'])

输出

[(b'95001', {b'Sname:': b'YangXing', b'course:english': b'82', b'course:math': b'90'}),
 (b'93020', {b'Sname:': b'WeiLiu', b'course:math': b'87'})]

也可指定列族

ts.rows(rows=['95001','93020'],columns=['course'])

输出

[(b'95001', {b'course:english': b'82', b'course:math': b'90'}),
 (b'93020', {b'course:math': b'87'})]

甚至列限定符

ts.rows(rows=['95001','93020'],columns=['course:math'])

输出

[(b'95001', {b'course:math': b'90'}), (b'93020', {b'course:math': b'87'})]

同row一样，rows也可以设置include_timestamp=True来显示时间戳。

(3) scan

如果想遍历整个表的所有内容

for key,value in ts.scan():
    print(key,value)

输出

b'93020' {b'Sname:': b'WeiLiu', b'course:math': b'87'}
b'95001' {b'Sname:': b'YangXing', b'Sname:a': b'ss', b'course:english': b'82', b'course:math': b'90'}

也可设置起始行键（行键的顺序由系统自动排列）

for key,value in ts.scan(row_start='95001'):
    print(key,value)

输出

b'95001' {b'Sname:': b'YangXing', b'Sname:a': b'ss', b'course:english': b'82', b'course:math': b'90'}

或终止行键

for key,value in ts.scan(row_stop='95001'):
    print(key,value)

输出

b'93020' {b'Sname:': b'WeiLiu', b'course:math': b'87'}
[b'student', b'student2', b'zhy']

也可以row_start和row_stop同时设定，注意是前闭后开区间。
同row一样，scan也可以设置include_timestamp=True来显示时间戳。

5. 删除数据

使用delete命令删除某行的若干列族/列数据。注意delete命令会删除所有历史数据（类似于shell的deleteall）。
删除一整行，如93020行

ts.delete(row='93020')

执行后93020这行的所有数据（包括任何列的所有历史版本）都被删除
删除某行某列族，如95001行的course列族

ts.delete(row='95001',columns=['course'])

注意course后面没有冒号
删除某行某列族某列，如95001行的course列族的english列

ts.delete(row='95001',columns=['course:english'])

Reference:
https://blog.csdn.net/qq_21153619/article/details/82619925
https://www.jianshu.com/p/62f687ba0c11
https://blog.csdn.net/weixin_33860722/article/details/92385409
https://blog.csdn.net/ytusdc/article/details/78679100
https://www.cnblogs.com/tashanzhishi/p/10917956.html

4.7 在Python下使用HBase