当前位置:   article > 正文

如何迁移HDP2.4中的Hive表到CDP7.1.1_cdp 使用元数据拼出建表语句

cdp 使用元数据拼出建表语句

随着Hadoop 3.X 版本的发展,Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题,在升级过程中,即使使用迁移升级方式工作量非常大,但毫无疑问最稳妥的升级办法。在迁移的过程中,我们首先面对的就是本地的HDFS数据迁移和Hive 表数据迁移,本文主要讲述如何迁移HDP2.4.2 Hive 表和数据到CDP 7.1.1中。

  • 测试环境

1.HDP 版本为2.4.2、Hadoop 版本为2.7.1 、Hive 版本为1.2.1、未启用Kerberos

2.CDP版本为7.1.1、Hadoop 版本为3.1.1、Hive 版本为3.1.3 、启用Kerberos

3.HDP和CDP 环境运行正常

2.操作步骤

2.1 导出原表结构

首先在HDP集群上进入Hive 客户端,执行show create table ods.ods_tghx_acczh,

查看并导出建表语句,导出的建表语句中删除LOCATION和TBLPROPERIES 

  1. hive -e "show create table ods.ods_tghx_acczh;" >> ods_tghx_acczh-tables.sql

2.2在目标集群创建表并查看

然后使用导出的建表语句在CDP集群中创建表,创建好后如下,注释行特殊字符乱请忽略,由于CDP环境中没有修改元数据库的注释的编码导

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/199542
推荐阅读
相关标签
  

闽ICP备14008679号