软件测试工程师新技术：Oracle到高斯数据库的无缝迁移

Oracle适配迁移高斯数据库简介

在数据库系统切换的背景下，使用关系型的Oracle数据库的系统可选择替换为华为的高斯数据库。高斯数据库属于分布式、多模型数据库，基于PostgreSQL开源数据库且遵循了SQL相关标准开发的数据库，具备高性能、高可靠性、高扩展性。相比而言，两者数据库在数据存储、内核结构、数据类型、系统函数功能等方面及部分SQL语法均存在一定的差异性。这些差异存在客观造成数据库对象创建、存储过程编译、SQL解析执行等环节一定差异，无法完全兼容。

Oracle迁移高斯数据库流程及工具

1.迁移工具

UGO：异构数据库结构迁移。是数据对象迁移工具，该功能主要有，移前数据库对象兼容性评估、迁移过程中SQL语法转换配置、以及数据库对象迁移同步、迁移后数据库对象验证。该工具可将源数据库的DDL、DML、DCL和业务程序中封装的数据库SQL一键自动转换为GasussDB的SQL语法，提高转化率、最大化降低数据库迁移成本。该工具主要通过预迁移评估、结构迁移两大核心功能，实现主流商用数据库到GaussDB的自动化搬迁。

DRS：数据实时迁移服务。在UGO完成数据库对象迁移后，可使用该工具实现存量、增量数据迁移。

2.迁移工具

使用Oracle的数据库系统可采取三部分进行迁移：结构迁移、数据迁移、应用迁移。如下图1所示。

结构迁移：使用UGO评估数据库并获取转换后的异构数据库表结构。

数据迁移：通过华为云管理页面使用数据复制服务DRS进行全量数据迁移并进行完整性校验。

应用迁移：定位DAO层业务代码，使用异构数据库结构迁移平台UGO进行语法转换，根据转换结果调整语法。

Oracle迁移高斯库双向同步方案

Oracle库迁移高斯库大概有三种方式：一次性全量切换，确保gauss同步至oracle；oracle与gauss双向同步；应用测双写改造。这里简介一下DRS双向同步方案。

数据迁移方案在保证源库与目标库数据一致、安全性的前提下，可以考虑采用“全量铺底、增量同步、双向同步、阶段迁移”迁移策略，实现Oracle到高斯数据库的稳步切换。迁移方案图如下图所示：

全量铺底：在初次Oracle同步至高斯库数据，可以基于全量在线迁移方式，将当前Oracle库数据全量同步至高斯库。在线迁移过程中，服务可能会产生短暂中断或者不中断，对使用方无感知，可以满足系统实时性要求；

增量同步：增量同步可使用源库与目标库在操作某一方的数据后保持同步；

双向同步：增量同步即可支持Oracle到gauss，也可支持gauss到oracle的同步；

阶段迁移：若系统级别高，表量上千，可以考虑上图中分批次的迁移方式，以解耦后的每个微服务进行迁移。先迁移影响小的微服务，待稳定运行之后，再迁移其余微服务。

数据一致性校验

数据全量同步后，需要进行数据一致性校验，该环节可以使用DRS提供的“一致性比对”功能操作，一方面可以对源库与目标库选中的表的表层级字段做校验，另一方面可以对源库与目标库的表内容进行对比。总之，全量迁移+增量同步、反向增量同步等操作均需要数据一致性校验。

Oracle迁移高斯数据库经验总结

Oracle数据库涉及表、索引、序列、视图、存储过程、触发器等结构迁移。迁移过程中由于个别结构不能兼容GaussDB数据库，需要在迁移前做进一步处理。此外，数据同步遇到的特殊问题进行了解决。

结构迁移问题处理

1.触发器问题

Oracle数据库下使用的触发器不能兼容GaussDB库，因此迁移前需要进行改造，不能一次性完全迁移。

a.触发器中long类型可修改为bigint、number或numeric；所有的表结构名和字段名均需大写。

b.高斯库下不支持updating函数，因此，Oracle触发器用到updating函数的需要进行统一改造。

2.序列问题

a.序列通常用法是替换Oracle没有自增主键而用。但Gauss的序列cache是session端的，因此会导致sequence不连续。比如cache是100，连接池中A连接拿到1-100，连接池B拿到101-200，但连接池A的没用完，连接池B用完了sequence。等连接池A再次使用sequence的时候，会先将没用完的继续使用，但是sequence已经是200了，结果反而出现了<100的sequence出现。建议sequence改为1。

b.oracle序列最大支持9999999999999999999；而高斯最大序列值为9223372036854775807

例如：

CREATE SEQUENCE[TABLE_NAME]MINVALUE 1 MAXVALUE 9223372036854775807 INCREMENT BY 1 START WITH 275974021 CACHE 1 NO CYCLE

3.存储过程

Oracle下的存储过程在高斯环境已完全不适用，需要将逻辑上卷到应用层面。

4.无主键表

结构迁移时，针对无主键表的迁移，建议增加主键之后再迁移。如果直接迁移，可能在数据同步层面存在一定的风险，需要进行一致性验证。

5.内置函数

Oracle有的内置函数在高斯库不存在，通过DRS同步之后，会默认给高斯库schema为“dsc_ora_ext”下创建一个同功能函数。

如：oracle下有内置函数sys_guid();同步之后会变为dsc_fn_sys_guid()。

数据同步问题处理

1.BigDecimal格式问题

问题描述：Oracle下表结构中的数值类型字段默认显示当前精度，而Gauss库下默认展示表结构数值类型字段的原始精度（涉及到精度自动以0补全）。

解决方法：系统级层面通过更改配置来校正

Set behavior_compat_options=“hide_tailing_zero”

2.Encoding‘UTF-8’无法转换

问题描述：Oracle库中有的表存在空串情况，Oracle中可以通过char(0)或字节的方式写入字符\u0000，但Gauss系列无法写入字符\u0000，导致oracle2Gauss出现异常。

解决方法：DRS运维端增加如下配置：

全量：sync.datamove.replicator.standardizeStringType=true

增量：sync.increment.replicator.standardizeStringType=true

3.Java heap space问题

问题描述：一次性全量同步的数据涉及到数据量大的情况，DRS同步过程中，报错service DATAMOVE failed,cause by:javaheap space;

解决方法：运维管理端增加如下配置：

sync.tungstenEnv.OPS_FULL_INCRE_MAX=10240

sync.datamove.replicator.fetchSize=100

常用sql语句

文末了：

可以到我的个人号：atstudy-js，可以免费领取一份10G软件测试工程师面试宝典文档资料。同时我邀请你进入我们的软件测试学习交流平台，大家可以一起探讨交流软件测试，共同学习软件测试技术、面试等软件测试方方面面，了解测试行业的最新趋势，助你快速进阶Python自动化测试/测试开发，稳住当前职位同时走向高薪之路。