当前位置:   article > 正文

HBase中数据的导入导出

2、说明hbase的导入导出方法。

        在实际应用HBase过程中,经常需要将生产环境中的数据备份,或者需要在开发环境中利用生产环境的数据,因此HBase存储的数据的导入导出必不可少,HBase内置提供了一个的导出工具,使数据很容易从hbase表导入HDFS目录下的SequenceFiles文件。该工具创造了一个map reduce任务,通过一系列HBase API来调用集群,获取指定表格的每一行数据,并且将数据写入指定的HDFS目录中。这个工具对集群来讲是性能密集的,因为它使用了mapreduce和HBase 客户端API。但是它的功能丰富,支持制定版本或日期范围,支持数据的筛选,从而使增量备份可用。

下面是HBASE导入导出的一个样例过程:

1、切换到hbase bin的目录下,将HBase中表复制导出到HDFS中,执行:

hbase org.apache.hadoop.hbase.mapreduce.Export test_table/data/test_table

上述中,test_table是HBase中要导出的表名,/data/test_table是hadoop fs(hadoop文件系统)中的位置。

2、切换到hadoop bin目录下,将hadoop HDFS中的文件拷贝到本地linux路径:

hadoop fs -get /data/test_table ~/

上述中,/data/test_table是hadoop HDFS文件系统中的路径,~/是本地linux路径。

3、切换到hadoop bin目录下,将linux中的本地文件拷贝到Hadoop HDFS中:

hadoop fs -put ~/test_table /data/

其中,~/test_table是本地Linux文件,/data/是Hadoop HDFS文件路径

4、拷贝好数据后,需要创建我们要导入数据的表,进入hbase shell环境:

create‘test_table','test_family'

注意:创建表的时候,需要至少指定一个列簇

5、将Hadoop HDFS中的文件,导入到指定的HBase的表:

hbase org.apache.hadoop.hbase.mapreduce.Import test_table /data/test_table

转载于:https://my.oschina.net/wca/blog/1830731

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/969850
推荐阅读
相关标签
  

闽ICP备14008679号