NoSql数据库之一Hbase学习笔记

NoSql数据库之：HBase

NoSql数据库简介

Hbase也是一种主从式的架构

和传统的关系型数据库的表结构不一样

Nosql数据库比较重要，和我们的大数据紧密相连的。

什么是nosql，写全not only sql，直译不仅仅是sql。

关系型数据库是基于关系模型所提出来的一种数据库，叫关系型数据库，而关系模型最终是以一张二维表

就是行和列的方式来保存数据的模型。

oracle和mysql最终都是存在表中的行和列，这就是关系型数据库。

Nosql就不是关系型的。

HBase

Redis:基于内存的NoSql数据库，Redis的前身是MemCached，因为它存在不足，就有了redis

，它主要的缺点是不支持持久化。在Memcached里只能把数据存在内存中，如果内存发生了崩溃，内存中所有数据就丢了。redis就是支持持久化的，

持久化：RDB 、AOF。Condis是Redis分布式的解决方案，Codis属于redis的一部分，它单分出来了，也是基于内存的nosql数据库。

MongoDB：基于文档型（bson文档）的Nosql数据库，

collection：集合

（电影id：001，

名称：xxxxx，

演员：xxxx，短评：[{内容：xxx，作者：时间：xxxx}]）

从MongoDB4.0开始：支持事物，目前不是很成熟。如果发展比较成熟，最终关系型数据库会被替代！！！！！

如果说以后Nosql数据库支持事物，就有可能替代关系型数据库。

MongoDB支持分布式存储，也支持MapReduce，但是他的MapReduce是个javascript程序。

关系型数据库，多表查询就会产生笛卡尔积列数相加行数相乘，就会影响性能。

Cassndra：和hbase类似，里面的概念就非常类似。

hadoop的生态体系圈

HBase是基于hdfs之上的NoSql数据库

zookeeper

分布式协调服务

实现HA功能

二：HBase的体系结构（主从结构）和表结构

1、hadoop的生态体系圈

2、HBase

（*）基于HDFS之上的NoSql数据库

HBase HDFS

表---->目录

数据 ----》（HFILE :大小：128）

（*）HBase的体系架构

HMaser要是死掉了，就会导致整个HBase无法使用。

客户端可以是命令行，或者是程序。

通过命令行可以查询数据，保存数据，等等操作。。通过客户端连接上来的时候，最终连接的是HMaster

客户端不能直接获取到HMater的地址信息，它必须要通过一个中间人（zookeeper），就是说我的客户端要首先去问一下这个中间人

HMater在哪里呢？中间人告诉客户端HMater在那里。

zookeeper相当于是一个数据库，我们就可以把一些信息存到里面去，我们可以把HMaster的节点信息存到里面去，方便实现ha的功能，

HA就是解决单点故障的解决方案。

HA的思想就是多搞几个主节点

可以有两个HMaster，但是只有一个状态是active ，另一个是standby不可用，处于一个等待的状态，都是存在zookeeper里面去，

然后由zookeeper返回给客户端，到底哪个是真正活着的主节点，从而实现HA的功能，我们就组成了HBase的主题架构。

把其中一个region放大下，

region数据最终是保存在里面，为了加快保存数据或者查询数据的效率，可以把region理解成一个逻辑结构，region中会有一块内存

，内存大小可以通过参数设置，这块内存名字叫memstore。

从HBase查询数据的时候，首先就回到内存memstore中查询数据，如果已经有了数据，就直接返回数据，这个叫做（一次命中）

我们查询的数据直接在内存中可以找到就叫做一次命中，就不需要去读取文件了，文件是存在我们的数据节点上。如果这块内存存满了，他就会使用LRU算法，

最近最少使用算法，把内存的数据写到一个一个的文件上。写入文件，文件叫做 Store(对应一个列族) File.

store file存到Hfile，因为store file可能没有128M，先把store file 做处理，处理完得到一个一个Hfile，Hfile的大小是128M，我在把HFile存到DataNode上。

概念：region有一个名字叫做menstore的内存和一个store file组成，怎么理解store呢，对应一个列族，如果这个store存不下，他可能会有多个store。

一会再补充列族。HBase表结构时候再讲。

三：搭建环境

通过远程工具把habse-1.3.1.tar.gz上传到linux tools目录上。

1：解压

2：设置环境变量

3：安装模式，

本地模式:特点是不需要HDFS，直接把数据存在操作系统linux上。

hadoop的本地模式没有hdfs，是只能测试mapreduce的程序。那么mapreduce处理的就是linux操作系统上的数据。

配置：hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

hbase-site.xml

本地模式:

<name>hbase.rootdir</name>

file:///root/training/hbase-1.3.1/data

</property>

启动hbase：start-hbase.sh 是会制动hmaster，在本地模式上只有HMaster没有从节点regionServer

现在我们可以操作hbase，现在来创建一张表。现在使用hbase 为我们提供的命令行工具

hbase shell，hbase shell相当于oracle中的sqlplus，或者mysql命令号，现在我们启动他的客户端，它默认连到本机。

创建学生表：

create 'student','info','grade'

插入数据：

put 'student','stu001','info:name','Tom'

查询数据:

scan 'student'

接下来进入刚才创建的data目录中，看到列族也是一个目录，如果在hdfs上他最终也是一个hdfs的目录

伪分布模式

hbase的伪分布模式，和hadoop的伪分布模式是一样的，都是在单机的环境上去模拟一个分布式的环境，在这个情况下会存在一个zk，和master，regionserver，他们三个运行在同一个机器上，

这个hadoop的伪分布是一个道理。

配置：

hbase-env.sh

JAVA_HOME /root/training/jdk1.8.0_144

HBASE_MANAGES_ZK true

hbase-site.xml

伪分布模式：

<name>hbase.rootdir</name>

hdfs://192.168.80.116:9000/hbase

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>bigdata116</value>

</property>

<name>dfs.replication</name>

</property>

zookeeper连接的端口就是2181，

四：操作HBase,使用webconsole和命令行。

1：web console

端口号：新版本16010，老版本：60010

http://192.168.80.116:16010/master-status

2:命令行，举例子（不充点，sql的知识）

(*) 创建表

查看表：list，把hbase当中已经创建的表都给列出来

MySQL:show tables;

Oracle:select * from tab;

查看表结构：desc 'student'

describe 'student'

SQL中(Oracle):desc 和 describe有什么区别，都是查看表结构？

(*)descshi SQL*PLUS语句，可以缩写。

(*)describe是SQL语句，不能缩写。

(*)插入数据：put

(*)查询语句：

scan 相当于 select * from 'student'

get 相当于select * from 'student' where rowkey =sty001,这条语句会返回和stu001相关的所有记录

海量数据时候，为了加快查询的速度，可以建立HBase的二级索引，索引会提成查询的效率，HBase本身会有一个索引信息，就是元信息，二级索引的索引信息不需要HBASE来维护，需要借助别人来维护索引信息，它不属于HBase本身。

(*)清空数据 :truncate

日志：

补充数据：delete和truncate有什么区别（以Oracle为例）？

1：最根本的区别，delete语句是一个DML语句,DML可以回滚，truncate是一个DDL(Data Definition Language数据库定义语言)语句，DDL不可以回滚。

DML:Data Manipulation Language

DDL:Data Definition Language

2：delete 语句会产生碎片，truncate不会，碎片产生多了必然会影响性能。

3：delete不会释放空间，truncate会。如果表里面有10M的数据，用delete语句把数据删掉，这表还是10M，truncate会把空间释放掉

4：delete可以闪回(flashback)，truncate不可以，针对oracle数据库。

(*)删除表：drop

先 disable 'student'

drop 'student'

-----------------------------------------------------------------------------

hbase表：在每个cell(单元格)上，可以保存多条数据。·

VERSIONS=1:解释

表示这个单元格上可以存一条数据，

怎么区分这个单元格里面的多条数据呢，是用时间戳来查询，那么查询的时候是查询时间最新的数据。

IN_MEMORY :把他缓存到内存当中，默认值是false，如果想得到更高的性能，就把值改成true，但是不建议改成true，

除非内存够用，又必须要实现这样的功能就把它改成true，为什么默认值是false呢？

hbase是基于hdfs之上，他也是存储海量数据，海量数据改成true的话，就会吧数据存在内存当中，当然前提是内存足够大。

，全分布式模式