7.10、使用管理工具

2017年12月17日 15:19 | 1473次浏览 作者原创 版权保护

每个人都希望自已的HBASE管理员能够让集群运行流畅,存储大量的数据,并且能同时,迅速和可靠地处理几百万的并发请求.对于管理员来说,让HBASE中海量数据一直保持可存取,易管理和便于查询是一项至关重要的任务.

除了对于你运行的集群要有扎实的了解之外,你所使用的工具也同样重要.HBASE自带了一些管理工具,它可以使管理员的工作变得轻松一些.HBASE带有一个基于WEB的管理页面.在此页面中可以查看集群的状态.


1.HBASE主WEB界面

HBASE主WEB界面是一个简单而又有用的工具,它可以为我们提供集群当前的状态的概况.从该页面中可以获取所运行HBASE版本/HBASE的配置(包括HDFS根路径和ZOOKeeper仲裁地址)/集群的平均负载以及表/区域/区域服务器的列表.

HBASE主界面的默认端口是60010,请确保你的网络防火墙已经对你的客户端打开了该端口.

http://192.168.1.80:16010/master-status

HBASE主WEB界面如下

正如你所看到的那样,在"Attributes区中显示的信息有":HBASE和Hadoop的版本/HBASE在HDFS上的根目录/集群的平均负载以及Zookeeper仲裁地址.HBASE根目录和Zookeeper服务器地址是HBASE配置文件hbase-site.xml中设置的值.平均负载是每个区域服务器所负责区域的平均值.一个区域服务器的负载显示在Region Server区中.

在Catalog Table(目录表)区中你可以看到两张表:-ROOT和.META.这是两张HBASE的系统表,-ROOT表里保存的是部署有.META表所有区域服务器的引用,而.META表中保存的是所有用户表区域的引用.


使用HBASE SHELL管理表

我们现在通过下列步骤来展示如何使用DDL命令来管理HBASE表.

1.在客户机节点上执行以下命仅启动HBASE SHELL
#hbase shell



2.在HBASE SHELL中使用create命令创建一张带有一个列族(f1)的表(t1)
hbase(main):001:0> create 't1','f1'



3.使用list命令列出所有表的列表
hbase(main):008:0> list
TABLE                                                                                                                              
MIANTIAO_USERNAME                                                                                                                  
PERFORMANCE_10000                                                                                                                  
SYSTEM.CATALOG                                                                                                                     
SYSTEM.FUNCTION                                                                                                                    
SYSTEM.SEQUENCE                                                                                                                    
SYSTEM.STATS                                                                                                                       
US_POPULATION                                                                                                                      
US_POPULATION2                                                                                                                     
UUU                                                                                                                                
UUU33                                                                                                                              
hly_temp                                                                                                                           
lxw1234                                                                                                                            
question                                                                                                                           
ssss                                                                                                                               
t1                                                                                                                                 
t2                                                                                                                                 
t3                                                                                                                                 
t4                                                                                                                                 
18 row(s) in 0.0370 seconds

=> ["MIANTIAO_USERNAME", "PERFORMANCE_10000", "SYSTEM.CATALOG", "SYSTEM.FUNCTION", "SYSTEM.SEQUENCE", "SYSTEM.STATS", "US_POPULATION", "US_POPULATION2", "UUU", "UUU33", "hly_temp", "lxw1234", "question", "ssss", "t1", "t2", "t3", "t4"]
hbase(main):009:0> 



4.使用describe命令来显示该表的属性
hbase(main):009:0> describe 't1'
Table t1 is ENABLED                                                                                                                
t1                                                                                                                                 
COLUMN FAMILIES DESCRIPTION                                                                                                        
{NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '5', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => '
NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE 
=> '0'}                                                                                                                            
1 row(s) in 0.1840 seconds



5.使用disable 命令来禁用该表
hbase(main):013:0> disable 't1'
0 row(s) in 0.0170 seconds

hbase(main):014:0> is_enabled 't1'
false                                                                                                                              
0 row(s) in 0.0160 seconds




6.使用alter命令来修改表的属性.下面这段代码会先将f1修改为只有一个版本,然后再添加了一个新列族的f2
hbase(main):015:0> alter 't1',{NAME=>'f1',VERSIONS=>'1'},{NAME=>'f2'}
Updating all regions with the new schema...
1/1 regions updated.
Done.
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 3.8100 seconds




7.使用enable命令来启用该表
hbase(main):016:0> enable 't1'
0 row(s) in 1.4190 seconds

hbase(main):017:0> is_enabled 't1'
true                                                                                                                               
0 row(s) in 0.0090 seconds



8.输入以下命令来再次禁用该表.然后将期删除
hbase(main):018:0> disable 't1'
0 row(s) in 2.2440 seconds

hbase(main):019:0> drop 't1'
0 row(s) in 1.2650 seconds



9.使用put命令将下列数据插入到该表中
hbase(main):021:0> put 't1','row1','f1:c1','value1'
0 row(s) in 0.1030 seconds

hbase(main):022:0> put 't1','row1','f1:c2','value2'
0 row(s) in 0.0130 seconds

hbase(main):023:0> put 't1','row2','f1:c1','value3'
0 row(s) in 0.0230 seconds
put命令使用表名(t1)/行键(row1)/列族和限定符(f1:c1)以及要赋予的值(value1)为参数,别外它还有一个可选的时间戳参数.在f1:c1中.冒号(:)是列族(f1)与限定符(c1)之前的间隔符.在HBASE SHELL中,如果想要把一个值当成字符串,你就用单引号包括起来就行.



10.执行count命令来获取该表的行数
hbase(main):024:0> count 't1'
2 row(s) in 0.0930 seconds

=> 2
count命令可以统计一张表中记录数,它会以"行键"为基础进行统计,所以为2.

11.使用scan命令来扫描数据.在对记录很多的表进行scan时,不要忘记指定LIMIT属性
hbase(main):029:0> scan 't1',{LIMIT=>10}
ROW                               COLUMN+CELL                                                                                      
 row1                             column=f1:c1, timestamp=1460644326819, value=value1                                              
 row1                             column=f1:c2, timestamp=1460644335627, value=value2                                              
 row2                             column=f1:c1, timestamp=1460644754895, value=value7                                              
 row3                             column=f1:c1, timestamp=1460644762929, value=value7                                              
3 row(s) in 0.0600 seconds




12.使用get命令来读取某一行
hbase(main):030:0> get 't1','row1'
COLUMN                            CELL                                                                                             
 f1:c1                            timestamp=1460644326819, value=value1                                                            
 f1:c2                            timestamp=1460644335627, value=value2                                                            
2 row(s) in 0.0200 seconds



13.使用delete命令来删除某一指定单元格
hbase(main):032:0> delete 't1','row1','f1:c1'
0 row(s) in 0.0250 seconds

hbase(main):033:0> scan 't1',{LIMIT=>10}
ROW                               COLUMN+CELL                                                                                      
 row1                             column=f1:c2, timestamp=1460644335627, value=value2                                              
 row2                             column=f1:c1, timestamp=1460644754895, value=value7                                              
 row3                             column=f1:c1, timestamp=1460644762929, value=value7                                              
3 row(s) in 0.0240 seconds




14.使用deleteall命令删除某一指定行的所有单元格
hbase(main):002:0> delete 't1','row1','f1:c1'
0 row(s) in 0.0610 seconds


15.再次执行get命令;你会发现整个row1行都已被从表中删除了.
hbase(main):001:0> get 't1','row1'
COLUMN                               CELL                                                                                                    
 f1:c2                               timestamp=1460644335627, value=value2                                                                   
1 row(s) in 0.3090 seconds

16.使用incr命令让计数器(row1:f1:c1)的值加1
hbase(main):003:0> scan 't1'
ROW                                  COLUMN+CELL                                                                                             
 row1                                column=f1:c2, timestamp=1460644335627, value=value2                                                     
 row2                                column=f1:c1, timestamp=1460644754895, value=value7                                                     
 row3                                column=f1:c1, timestamp=1460644762929, value=value7                                                     
3 row(s) in 0.1120 seconds

hbase(main):004:0> incr 't1','row1','f1:c1',1
COUNTER VALUE = 1
0 row(s) in 0.0280 seconds

hbase(main):005:0> scan 't1'
ROW                                  COLUMN+CELL                                                                                             
 row1                                column=f1:c1, timestamp=1460801878627, value=\x00\x00\x00\x00\x00\x00\x00\x01                           
 row1                                column=f1:c2, timestamp=1460644335627, value=value2                                                     
 row2                                column=f1:c1, timestamp=1460644754895, value=value7                                                     
 row3                                column=f1:c1, timestamp=1460644762929, value=value7                                                     
3 row(s) in 0.0310 seconds


17.再使该计数器加10
hbase(main):006:0> incr 't1','row1','f1:c1',10
COUNTER VALUE = 11
0 row(s) in 0.0160 seconds

hbase(main):007:0> scan 't1'
ROW                                  COLUMN+CELL                                                                                             
 row1                                column=f1:c1, timestamp=1460802073632, value=\x00\x00\x00\x00\x00\x00\x00\x0B                           
 row1                                column=f1:c2, timestamp=1460644335627, value=value2                                                     
 row2                                column=f1:c1, timestamp=1460644754895, value=value7                                                     
 row3                                column=f1:c1, timestamp=1460644762929, value=value7                                                     
3 row(s) in 0.0300 seconds


18.使用get_counter命令来读取该计数器的新值
hbase(main):008:0> get_counter 't1','row1','f1:c1'
COUNTER VALUE = 11


19.执行truncate命令来截断该表
truncate命令会进行一系列的操作,对表进行禁用/删除/然后再重建
hbase(main):009:0> truncate 't1'
Truncating 't1' table (it may take a while):
 - Disabling table...
 - Truncating table...
0 row(s) in 3.4570 seconds


使用HBASE SHELL管理集群


在HBASE SHELL中执行JAVA方法

WAL工具 手动分割和转储WAL

HFile工具 以文本方式查看HFile的内容

HBASE hbck检查HBASE集群的一致性

查看hbasemeta情况
hbase hbck
1.重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表)
hbase hbck -fixMeta
2.重新将hbase meta表分给regionserver(根据meta表,将meta表上的region分给regionservere)
hbase hbck -fixAssignments


新版本的 hbck 
1)缺失hbase.version文件 
加上选项 -fixVersionFile 解决 
2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中 
加上选项 -fixAssignments 解决 
3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有 
加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录) 
4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有 
加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录) 
5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了 
加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign 
6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务 
加上选项 -fixMeta 解决,删除META表中的记录 
7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务 
加上选项 -fixAssignments 解决,assign这个region 
8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了加上选项 -fixAssignments 解决,undeploy这个region 
9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了 加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region 
10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符 加上选项 -fixAssignments 解决 
11)region holes 
需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息 
12)region在hdfs上面没有.regioninfo文件 
-fixHdfsOrphans 解决 
13)region overlaps 
需要加上 -fixHdfsOverlaps 

说明: 
(1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans 
(2) -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题 
(3)-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息 
(4)-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 

新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair



小说《我是全球混乱的源头》
此文章本站原创,地址 https://www.vxzsk.com/1589.html   转载请注明出处!谢谢!

感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程