Tbase基础积累二之数据迁移工具dbbridge

一、工具介绍

dbbridge是腾讯云提供的用于实现oracle、mysql等异构数据库迁移到Tbase、TDSQL的工具。目前只有私有化部署，要想获取安装包需要联系腾讯云的客服/技术支持。

dbbridge的功能其实蛮多的，可以实现tbase方向数据同步和把数据订阅到kafka.

二、安装过程

略，因为都是腾讯云的技术工程师帮忙安装的，所以偶也不知道怎么安装。

不过在未来公有云paas化的路上，懂不懂安装已经不重要了，重要怎么应用。

三、应用介绍

dbbridge提供四大功能：

1. 迁移评估
2. 结构迁移
3. 全量迁移
4. 增量迁移
5. 数据校验【默认进行】

看图：

创建任务

1、 输入任务名称

2、 选择【通道类型】，无非就是oracle2tbase，oracle2tdsql 这些通道，我们这里选择oracle2tbase

3、数据源 ，第一次进行需要新建，你点新建就可以了，就是配置一下ip,port 用户/密码这些信息。。。

4、数据源选择好，一定要选择【测试连接】-->【加载】这时才会把源库里的对象加载到下面的列表框中，否则你是什么也看不到。

5、目标端同样操作。

6、迁移规则模版，我也是选择默认的oracle2tbase，基本在迁移过程中不会报错。够用。

7、配置好后，可以进行迁移【对象】选择，可以按整个schema、table、index、view、procedure进行迁移。但建议只做table、view、index迁移。procedure、function还是以手动为主好一点。

小技巧：在迁移列表框里在放大镜左边可以输入表名进行精准和模糊查询（格式%object_name%）,输入完后，按回车，然后逐层点开，就可以看到你想迁移的对象。

8、最后保存退出。这里只是创建任务，还没有运行任务。

运行任务

看下图

点击详情进入，看到下图，然后点击【流程图上具体的标签】进入步骤详细配置和启动步骤，每一个步骤都是这样操作。【第一次使用是我以为流程图是用来看，一点也不知道怎么触发启动】

迁移评估

迁移评估共分为两部分：

1、对象评估，就是评估源库里那些对象是可以直接通过dbbridge转换到目标端可以兼容的类型和语法。一般的table\index\view是没有问题。

2、应用评估，这里评估你源库里运行过的sql是否可以直接在目标端运行。实践表明这里只是一个评估作用，只能做参考，实际上还是需要测试的。

评估完，就会打兼容分，然后给出一些建议，如怎么改语法，怎么换类型之类的。

 

结构迁移

以tbase为例

点击进去后，点击开始迁移，这里就会发现有几个项目需要配置：

1. 是否设置分布表 ，选择否，意思是不为迁移的表自定义选择分布表还是复制表和分布键，这时dbbridge就会自动帮你选择，所有表为分布表，每个表主键的第一个关键字作为分布键。
2. 是否设置分布表，选择是，就是需要你手工指定每个表的类型和分布键。如果有几百个表这样指定，一定会疯掉。所以建议还是自己写个脚本在源库里生成脚本。
3. 这里提一个坑，当你选择‘不设置分布表时’，dbbridge自动选择分布键的话，你的唯一索引建立失败的几率比较高，都要你手工订正。因为tbase 唯一索引里必须包含分布键。

 

全量/增量迁移/数据校验

这个环节没有什么好说的，和etl那样进行就可以了。

 

最后补充一下，提升迁移效率的配置

据腾讯技术说，要提升效率在这里设置抽取和装载的行数。。最后建议如果这个工具里有并发数设置就完美了。