运维做开发

这个屌丝很懒，什么也没留下！

热门标签

非关系型分布式数据库系统——HBase_habse

作者：运维做开发 | 2024-07-18 02:02:17

踩

habse

文章目录

HBase 简介

HBase是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。
HBase适合海量明细数据的存储，并且后期需要有很好的查询性能（单表超千万、上亿，且并发要求高）
Habse是列式存储，Mysql是行式存储，在Mysql这类关系型数据库中，空值字段会浪费存储空间，但是Habse使用列式存储，可以减少存储空间占用，并且Habase支持多列

HBase的特点

海量存储：底层基于HDFS存储海量数据
列式存储：HBase表的数据是基于列族进行存储的，一个列族包含若干列
极易扩展：底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加DataNode服务节点就可以
高并发：支持高并发的读写请求
稀疏：稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的
数据的多版本：HBase表中的数据可以有多个版本值，默认情况下是根据版本号去区分，版本号就是插入数据的时间戳
数据类型单一：所有的数据在HBase中是以字节数组进行存储

HBase数据模型

HBase的数据也是以表（有行有列）的形式存储

HBase逻辑架构
在这里插入图片描述

HBase逻辑架构特点：
1. Row Key:表的主键，唯一值，会按照字典顺序排序
2. 列族：HBase表存储时写入文件会以一个列族为整体存储，同时，一个列族可包含多个列，如上图所示:base_info(基本信息)和skill_level（技能等级）两个列族。
3. Region:region时从横向切分的表的一部分，一个habse表可以有多个region，当region过大时还会被且分出新的region
4. store:hbase存储时，是以列族为整体存储，所以有多少个列族就会有多少store

HBase物理存储

在这里插入图片描述

概念	描述
NameSpace(数据库)	命名空间，类似于关系数据库系统中database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间，一个表可以自由选择是否有命名空间，如果创建表的时候加上了命名空间后，这个表名字以`<Namespace>:<Table>作为区分`
Table	类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，数据属性，比如超时时间(TTL)，压缩算法(COMPRESSION)等，都在列族的定义中定义，不需要声明具体的列
Row(一行逻辑数据)	HBase表中的每行数据都由一个RowKey和多个Column (列)组成。一个行包含了多个列，这些列通过列族来分类,行中的数据所属列族只能从该表所定义的列族中选取,不能定义这个表中不存在的列族，否则报错NoSuchColumnFamilyException。
RowKey (每行数据主键)	Rowkey由用户指定的一串不重复的字符串定义，是一行的唯一标识。数据是按照RowKey 的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以Rowkey不能重复，如果使用了之前已经定义的Rowkey，那么会将之前的数据更新掉
Column Family(列族)	列族是多个列的集合。一个列族可以动态地灵活定义多个列。表的相关属性大部分都定义在列族上，同一个表里的不同列族可以有完全不同的属性配置，但是同一个列族内的所有列都会有相同的属性。列族存在的意义是HBase会把相同列族的列尽量放在同一台机器上，所以说，如果想让某几个列被放到一起，你就给他们定义相同的列族
Column Qualifier (列)	Hbase中的列是可以随意定义的，一个行中的列不限名字、不限数量，只限定列族。因此列必须依赖于列族存在。列的名称前必须带着其所属的列族。例如info: name，info:age
TimeStamp(时间戳–》版本)	用于标识数据的不同版本 (version)。时间戳默认由系统指定，也可以由用户显式指定。在读取单元格的数据时，版本号可以省略，如果不指定，Hbase默认会获取最后一个版本的数据返回!
Cell	一个列中可以存储多个版本的数据。而每个版本就称为一个单元格(Cell)。
Region(表的分区)	Region由一个表的若干行组成。在Region中行的排序按照行键(rowkey)字典排序。Region不能跨RegionSever，且当数据量大的时候，HBase会拆分Region。

HBase整体架构

在这里插入图片描述

Zookeeper：

实现了HMaster的高可用，保存了HBase的元数据信息（地址信息），是所有HBase表的寻址入口
对HMaster和HRegionServer实现了监控

HMaster（Master）

HRegionServer分配Regions到每个HRegionServer，监听每个HRegionServer的状态，维护整个集群的负载均衡
Hbase集群的元数据是一张存储对应region以及region所在的regionserver信息的Hbase的表，
发现失效的Region，并将失效的Region分配到正常的HRegionServer上，维护集群的元数据信息

HRegionServer（RegionServer）

负责管理维护自己节点的Region，并接受客户端的读写数据请求
切分在运行过程中变大的Region

Region

每个HRegion由多个Store构成，每个Store保存一个列族（Columns Family），表有几个列族，则有几个Store，
每个Store由一个MemStore和多个StoreFile组成，MemStore是Store在内存中的内容，写到文件后就是StoreFile。StoreFile底层是以HFile的格式保存。

Hbase命令行

查看当前数据库中有哪些表
```
hbase(main):001:0> list
1
```

创建一张student表，包含base_info、extra_info两个列族

## 这种创建方式会一直保留数据的版本信息
hbase(main):002:0> create 'student', 'base_info', 'extra_info'

## Hbase建表必须指定列族信息，VERSIONS 是指此单元格内的数据可以保留最近的 3 个版本
create 'student', {NAME => 'base_info', VERSIONS => '3'},{NAME =>'extra_info',VERSIONS => '3'}
1
2
3
4
5

向student表中添加数据操作：
1. 向student表中插入信息，row key为 rk1，列族base_info中添加name列标示符，值为wang
```
hbase(main):008:0> put 'student', 'rk1', 'base_info:name', 'wang'
1
```
2. 向student表中插入信息，row key为rk1，列族base_info中添加age列标示符，值为30
```
hbase(main):009:0> put 'student', 'rk1', 'base_info:age', 30
1
```
3. 向student表中插入信息，row key为rk1，列族extra_info中添加address列标示符，值为shanghai
```
hbase(main):011:0> put 'student', 'rk1', 'extra_info:address', 'shanghai'
1
```

通过rowkey进行查询数据

获取表中row key为rk1的所有信息

hbase(main):016:0> get 'student', 'rk1'
COLUMN                                   CELL                                                                                                                  
 base_info:age                           timestamp=1673665534687, value=30                                                                                     
 base_info:name                          timestamp=1673665497963, value=wang                                                                                   
 extra_info:address                      timestamp=1673665569251, value=shanghai                                                                               
1 row(s) in 0.0480 seconds
1
2
3
4
5
6

获取student表中row key为rk1，base_info列族的所有信息

hbase(main):022:0> get 'student' ,'rk1','base_info'
COLUMN                                   CELL                                                                                                                  
 base_info:age                           timestamp=1673665534687, value=30                                                                                     
 base_info:name                          timestamp=1673665497963, value=wang                                                                                   
1 row(s) in 0.3920 seconds
1
2
3
4
5

获取表中row key为rk1，base_info列族的name、age列标示符的信息

hbase(main):023:0> get 'student', 'rk1', 'base_info:age'
COLUMN                                   CELL                                                                                                                  
 base_info:age                           timestamp=1673665534687, value=30                                                                                                                                                                   
1 row(s) in 0.0570 seconds
1
2
3
4

获取student表中row key为rk1，base_info、extra_info列族的信息

get 'student', 'rk1', 'base_info', 'extra_info'
get 'student', 'rk1', {COLUMN => ['base_info', 'extra_info']}
get 'student', 'rk1', {COLUMN => ['base_info:name','extra_info:address']}
1
2
3

指定rowkey与列值查询：获取表中row key为rk1，cell的值为wang的信息

hbase(main):026:0> get 'student', 'rk1', {FILTER => "ValueFilter(=,'binary:wang')"}
COLUMN                                   CELL                                                                                                                  
 base_info:name                          timestamp=1673665497963, value=wang                                                                                   
1 row(s) in 0.0740 seconds
1
2
3
4

指定rowkey与列值模糊查询：获取表中row key为rk1，列标示符中含有a的信息

hbase(main):027:0> get 'student', 'rk1', {FILTER => "(QualifierFilter(=,'substring:a'))"}
COLUMN                                   CELL                                                                                                                  
 base_info:age                           timestamp=1673665534687, value=30                                                                                     
 base_info:name                          timestamp=1673665497963, value=wang                                                                                   
 extra_info:address                      timestamp=1673665569251, value=shanghai                                                                               
1 row(s) in 0.0540 seconds
1
2
3
4
5
6

查询student表中所有数据

hbase(main):028:0> scan 'student'
ROW                                      COLUMN+CELL                                                                                                           
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                               
 rk1                                     column=base_info:name, timestamp=1673665497963, value=wang                                                            
 rk1                                     column=extra_info:address, timestamp=1673665569251, value=shanghai                                                    
1 row(s) in 0.0430 seconds
1
2
3
4
5
6

查询student表中列族为 base_info 的信息

hbase(main):029:0> scan 'student', {COLUMNS => 'base_info'}
ROW                                      COLUMN+CELL                                                                                                           
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                               
 rk1                                     column=base_info:name, timestamp=1673
 665497963, value=wang                                                            
1 row(s) in 0.0230 seconds

## Scan时可以设置是否开启Raw模式,开启Raw模式会返回包括已添加删除标记但是未实际删除的数据
## VERSIONS指定查询的最大版本数
hbase(main):030:0> scan 'student', {COLUMNS => 'base_info', RAW => true, VERSIONS=> 3}
ROW                                      COLUMN+CELL                                                                                                           
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                               
 rk1                                     column=base_info:name, timestamp=1673665497963, value=wang                                                            
1 row(s) in 0.0150 sec
1
2
3
4
5
6
7
8
9
10
11
12
13
14

指定多个列族与按照数据值模糊查询：查询student表中列族为 base_info 和 extra_info且列标示符中含有a字符的信息

hbase(main):031:0> scan 'student', {COLUMNS => ['base_info', 'extra_info'], FILTER=> "(QualifierFilter(=,'substring:a'))"}
ROW                                      COLUMN+CELL                                                                                                           
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                               
 rk1                                     column=base_info:name, timestamp=1673665497963, value=wang                                                            
 rk1                                     column=extra_info:address, timestamp=1673665569251, value=shanghai                                                    
1 row(s) in 0.1030 seconds
1
2
3
4
5
6

rowkey的范围值查询：查询lagou表中列族为base_info，rk范围是[rk1, rk3)的数据（rowkey底层存储是字典序）按rowkey顺序存储。

hbase(main):032:0> scan 'student', {COLUMNS => 'base_info', STARTROW => 'rk1',ENDROW => 'rk3'}
ROW                                      COLUMN+CELL                                                                                                           
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                               
 rk1                                     column=base_info:name, timestamp=1673665497963, value=wang                                                            
1 row(s) in 0.0250 seconds
1
2
3
4
5

指定rowkey模糊查询：查询lagou表中row key以rk字符开头的

hbase(main):033:0> scan 'student',{FILTER=>"PrefixFilter('rk')"}
ROW                                      COLUMN+CELL                                                                                                  
 rk1                                     column=base_info:age, timestamp=1673665534687, value=30                                                      
 rk1                                     column=base_info:name, timestamp=1673665497963, value=wang                                                   
 rk1                                     column=extra_info:address, timestamp=1673665569251, value=shanghai                                           
1 row(s) in 0.0440 seconds
1
2
3
4
5
6

更新操作同插入操作一样，只不过有数据就更新，没数据就添加

更新数据值：把student表中rowkey为rk1的base_info列族下的列name修改为liang

hbase(main):034:0> put 'student', 'rk1', 'base_info:name', 'liang'
0 row(s) in 0.1270 seconds

hbase(main):036:0> scan 'student'
ROW                                    COLUMN+CELL                                                                                                   
 rk1                                   column=base_info:age, timestamp=1673665534687, value=30                                                       
 rk1                                   column=base_info:name, timestamp=1673679591065, value=liang                                                   
 rk1                                   column=extra_info:address, timestamp=1673665569251, value=shanghai                                            
1 row(s) in 0.0280 seconds
1
2
3
4
5
6
7
8
9

删除数据和表

指定rowkey以及列名进行删除：删除student表row key为rk1，列标示符为 base_info:name 的数据
```
hbase(main):039:0> delete 'student' ,'rk1' ,'base_info:name'
0 row(s) in 0.0090 seconds
1
2
```

指定rowkey，列名以及时间戳信息进行删除：删除student表row key为rk1，列标示符为base_info:name的数据

delete 'lagou', 'rk1', 'base_info:name',1600660619655
scan 'lagou', {COLUMNS => 'base_info', RAW => true, VERSIONS=> 3}
ROW COLUMN+CELL
rk1 column=base_info:name, timestamp=1600660633870,value=zhao
rk1 column=base_info:name, timestamp=1600660627447,value=li
rk1 column=base_info:name, timestamp=1600660619655,type=Delete
rk1 column=base_info:name, timestamp=1600660619655,value=wang
1 row(s) in 0.0070 seconds
1
2
3
4
5
6
7
8

删除 base_info 列族

hbase(main):043:0> alter 'student', 'delete' => 'base_info'
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
0 row(s) in 3.3430 seconds
1
2
3
4
5
6

删除student表数据

hbase(main):049:0> truncate 'student'
Truncating 'student' table (it may take a while):
 - Disabling table...
 - Truncating table...
0 row(s) in 3.7000 seconds
1
2
3
4
5

删除student表

#先disable 再drop
hbase(main):036:0> disable 'student'
hbase(main):037:0> drop 'student'
#如果不进行disable，直接drop会报错
ERROR: Table user is enabled. Disable it first.
1
2
3
4
5

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/843028