赞
踩
随着Hadoop 3.X 版本的发展,Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题,在升级过程中,即使使用迁移升级方式工作量非常大,但毫无疑问最稳妥的升级办法。在迁移的过程中,我们首先面对的就是本地的HDFS数据迁移和Hive 表数据迁移,本文主要讲述如何迁移HDP2.4.2 Hive 表和数据到CDP 7.1.1中。
测试环境
1.HDP 版本为2.4.2、Hadoop 版本为2.7.1 、Hive 版本为1.2.1、未启用Kerberos
2.CDP版本为7.1.1、Hadoop 版本为3.1.1、Hive 版本为3.1.3 、启用Kerberos
3.HDP和CDP 环境运行正常
2.操作步骤
2.1 导出原表结构
首先在HDP集群上进入Hive 客户端,执行show create table ods.ods_tghx_acczh,
查看并导出建表语句,导出的建表语句中删除LOCATION和TBLPROPERIES
- hive -e "show create table ods.ods_tghx_acczh;" >> ods_tghx_acczh-tables.sql
2.2在目标集群创建表并查看
然后使用导出的建表语句在CDP集群中创建表,创建好后如下,注释行特殊字符乱请忽略,由于CDP环境中没有修改元数据库的注释的编码导
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。