搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
繁依Fanyi0
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
android前台服务_android 怎么停止前台服务
2
中介分析(三):R语言实现多重中介分析_r语言中介分析代码
3
PX4使用yolo仿真环境搭建_px4yolov5仿真
4
Git版本管理工具使用知识汇总_config-conventional length
5
Android控件篇 实时显示时间控件 【TextClock】_android实时显示时间控件
6
【ElasticSearch】RestClient查询文档_resthighlevelclient 查询文档
7
工业机器人和PLC是什么关系_plc和机器人
8
Alibaba Fastjson 入门详细教程_alibaba(2),面试Golang_com.alibaba.fastjson
9
java算法原理
10
计算机网络-PIM协议基础概念
当前位置:
article
> 正文
Oracle数据迁移_oracle数据库复制到另一台电脑上
作者:繁依Fanyi0 | 2024-08-02 18:30:48
赞
踩
oracle数据库复制到另一台电脑上
数据迁移通俗的说就是将数据从一个地方转移到另一个地方。主要使用场景有:根据正式系统搭建测试环境、从内网复制到外网、数据库服务器硬件升级等。根据需要迁移的数据量大小、系统架构,可采取不同的迁移方法。
注:以下所说方法,不考虑数据的增量更新、不考虑数据的实时同步、不考虑数据的逻辑转换。如果有这些需求,建议使用第三方ETL工具或使用Oracle的其他数据同步技术。
一、常用示例
1.1 如何在客户现场搭建测试环境?
常规方案,使用imp/exp工具,先在源库执行直接路径导出操作,然后在目标库执行导入操作。IMP/EXP的执行速度主要受限于磁盘及网络。
数据量:1.5G
导出用时:5分钟
导入用时:23分钟
导出文件大小:641M
导出导入环境:单CPU,700M内存。为力求最大速度,使用直接路径导出、设置最大I/O缓冲、导入导出文件都放在服务器上执行。
1.2 还有没有更快的办法?
有,仍然使用impdp/expdp。只是不再将数据导出后导入,而是直接将数据从源库导入到目的库。
CMD> Impdp testi@目标库 directory=DMPDIR schemas=TESTI
network_link=源库dblink remap_schema=TESTI:TESTA
上面语句的操作是将源库的TESTI用户的数据,导入到目标库的TESTA用户下。
这个操作是局域网内迁移数据最方便的工具,不过也可能是速度最慢的工具。
1.3 有没有还快一点的方法?
有,换用impdp/expdp。同样在源库执行导出,在目标库执行导入。操作速度能得到极大提升。IMPDP/EXPDP速度主要受限于磁盘,与网络无关。
原数据大小:1.5G
expdp导出操作用时:5分钟
impdp导入操作用时:22分钟
导出文件大小:588M
导出导入环境:单CPU,700M内存,并行度 = 1
??你不是说这个会更快么?为什么速度跟1.1的imp/exp差不多啊?
请看第四部分总结的解释。
1.4 你还敢再快一点么?
使用表空间迁移。将表空间的元数据导出,和数据文件一起,复制到新库。执行元数据导入。一般来说,整个导入导出的数据量不到5M。速度相当快,但使用限制比较多。
导出时间:1分钟
导入时间:3分钟
导出文件:60M + 数据文件1.5G
1.5 如何将数据从linux环境转到windows环境?
查看v$transportable_platform,如果数据编码一致,可尝试直接复制数据文件。否则使用rman或impdp/expdp或imp/exp。
1.6 如果你有一个excel格式的数据表,需要远程更新到客户数据库上,怎么更新?
使用pl/sql developer,复制、粘贴、提交。
1.7 如果你需要将正式库的几张表,迁移到测试库来,怎么弄快些?
用dblink+脚本,或者使用impdp远程导入。
二、局部数据的迁移
2.1、广域网的迁移
2.1.1 pl/sql developer
广域网下小数据量的迁移,常用pl/sql developer工具来完成。
在本地打开excel文件,复制数据。然后通过“远程桌面”,到远程服务器的pl/sql界面上粘贴,就可以了。操作简单方便。
第一步:在本地复制数据
第二步:打开远程桌面
第三步:在远程机器的pl/sql里面粘贴数据
第四步:保存数据
这种方法在小数据量下很好用。大数据量时,一个表一个表的粘贴比较麻烦,且一粘贴可能就卡在那里了,得等10来分钟。
2.1.2 imp/exp
广域网内大数据量的迁移,通常使用imp/exp工具。先在源库上使用exp工具,导出数据压缩包,通过网络发送到目标数据库。在目标数据库上再imp。
第一步:本机连接到源库上,执行exp
Exp一般使用直接路径导出,速度可以达到常规路径导出的3倍以上。
参数解释:
Parfile:指定导出的参数配置文件
Log:导出日志输出到哪个文件
recordlength=65535:设置最大I/O缓冲为64K(该参数最大64K)
Direct=y:数据经直接路径导出,不再经SGA导出
Owner=testi:仅导出用户testi的数据。
第二步:本机连接到目标库上,执行imp
Parfile:指定导入的参数配置文件
Log:导入日志输出到哪个文件
Feedback=1000:每导入1000行,在屏幕上输出一个”.”
Buffer=10000000:设置导入缓冲区大小
Fromuser=testi:仅导入testi用户的数据
Touser=testi:将数据导入到新用户testi下。
2.2、局域网内迁移
局域网内的数据迁移,方案比较灵活。常用的方法有:imp/exp、impdp/expdp、dblink+脚本、表空间迁移。
其中imp/exp在2.1.2已有介绍,这里主要介绍其他方法:
2.2.1 dblink+脚本
2.2.1.1 基本介绍
通过dblink将多个分布式数据库连接起来,对外提供统一的服务。可以实现在一个数据库上,访问多个分布式数据库。使用“dblink+脚本”的方法来转移数据,配置灵活,但脚本写起来比较麻烦。需要为每张表单独写脚本。
2.2.1.2 实施方案
主要配置分两步:
1) 创建数据库连接
create database link LINKNAME connect to DBUSER identified by password
using '(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.9)(PORT = 1521))
)
(CONNECT_DATA =
(SERVICE_NAME =ORCL)
)
)';
2) 执行抽取脚本
如:将表B的数据抽取到表A中。
Create table A as select * from B@LINKNAME;
对每张需要同步的表分别写脚本。
2.2.2 impdp/expdp
2.2.2.1 基本介绍
Impdp/expdp就是imp/exp的升级版,在Oracle 10g开始引入。
其主要加强功能如下:
1) 性能优化,导入导出速度明显提升
2) 提供并行执行的能力,加快导入导出速度
3) 提供交互式界面,可随时暂停导入导出操作
4) 提供多种表加载策略,如:追加、替换、跳过等
5) 提供数据库对象间的直接交换功能。
6) 提供导出文件大小估计功能
7) 提供导入、导出进度查看功能
8) 自动在导出文件目录下生成导入、导出日志文件。
但impdp/expdp也有比较明显的限制。
1) 与imp/exp工具生成的数据包不兼容
2) 能远程调用,但导入导出文件必须放到服务器上
总体来说,impdp/expdp优势还是很明显的,所以能使用impdp/expdp时,尽量不使用imp/exp。
2.2.2.1 实施方案
Impdp/expdp的使用,主要分为三步:
1) 创建目录映射
在数据库上,创建到操作系统目录的映射:
Create directory DMPDIR as‘c:\oracle\dump\’;
授予用户USER01对该目录的读写权限:
Grant read ,write on directoryDMPDIR toUSER01;
2) 执行导出脚本
导出:
参数解释:
Directory:数据文件导出到哪个路径下,这里是指定第一步创建的directory。
Dumpfile:导出文件名
Logfile:日志文件名
Parallel:设置导出job的并行度,如果对导出速度有较高要求,可设置CPU数 - 1
Job_name:为导出job命名
SCHEMAS:指定导出哪个用户的数据。
3) 执行数据导入脚本
首先仿照第一步,在目标库上创建操作系统目录映射。然后将第二步的导出文件拷贝到目标数据库对应目录下。然后执行以下脚本:
参数解释:
Directory:导入文件所在的路径
Dumpfile:导入文件名
Logfile:指定生成日志文件的存放位置
Parallel:指定操作并行度
job_name:指定导入job名称
SCHEMAS:指定要导入的用户名
REMAP_SCHEMA =TESTI:TESTB:指定将TESTI用户的数据,导入到TESTB用户下
TABLE_EXISTS_ACTION=REPLACE:如果要导入的表已经存在,直接替换。
2.2.2.3 界面介绍
1) 导出界面
可看到整个导出文件,约需要749.5M的存储空间。当然,expdp也支持只评估空间,不导出数据。
2) 状态查看界面
如果想要查看数据导入进度,新开一个窗口,执行以下脚本:
>expdp test@target ATTACH=TESTIMP
> status
2.2.3 表空间迁移
2.2.3.1 基本介绍
表空间迁移,相当于将一个数据库的文件,直接用U盘拷贝到另一个数据库使用。虽然这个原理简单,但操作复杂。
这个操作限制比较多:
1) 原数据库与目标数据库数据库字符集相同、国家字符集必须相同。可查看视图v$nls_parameters确认;
2) 源库与目标数据库最好是同一Oracle版本;
3) 不能搬移SYS和SYSTEM用户对象所在表空间。
2.2.3.2 实施方案
表空间的迁移,可以用imp/exp或impdp/expdp来完成,主要分3步:
1) 完成表空间集的自包含检查
SQL> exec dbms_tts.transport_set_check(‘TBS1’,true);
执行完成后,查询:select * from v$transport_set_violations;
如果没查出数据,表明可以执行表空间迁移。否则根据查询结果采取其他方法。
2) 执行表空间导出
SQL>alter tablespace users read only;
CMD>expdp test@orcl directory=DMPDIR dumpfile=tbs_dmp.dmp
transport_tablespace= USERS
3) 执行表空间导入
将第二步生成的tbs_dmp.dmp文件、表空间USERS对应的数据文件USER01.DBF通过U盘,拷贝到目标库,在目标库上执行导入:
CMD> impdp test@orcl directory=DMPDIR dumpfile=tbs_dmp.dmp
transport_tablespace=y tablespaces=USERS transport_datafiles=’c:\...\USER01.DBF’
SQL> alter tablespace users read write;
2.2.3.3 界面介绍
表空间传输,只是导出表空间的元数据,插入到新库中,因此速度很快。
三、整库迁移
整库迁移,一般用于环境的第一次搭建过程中。就是将整个数据库原封不动的挪到别的机器上。比较适合搭建独立的测试环境时使用。
整库迁移也可以使用前面介绍的imp/exp、impdp/expdp工具,但是速度奇慢,且经常报错。不如下面的方法好用。
3.1 冷备迁移
冷备迁移,就是将源数据库关闭,然后将数据文件拷贝到新机器的相同位置,直接打开新库就可以了。这个迁移过程,操作相对来说简单一些,也比较好控制,但有其局限性:不能跨操作系统硬件平台及数据库大版本。
Windows下的迁移步骤大致如下:
1) 关闭源数据库
2) 根据源库数据文件地址,在新机器上建立相应的操作系统目录
3) 将源库的数据文件、控制文件、参数文件、密码文件等拷贝到新库所在机器
4) 启动源数据库
5) 创建控制文件中记录的其他目录
6) 使用oradim创建实例
7) 启动目标数据库
8) 执行utlrp.sql脚本,编译所有无效对象。
3.2 RMAN迁移
用RMAN做整库迁移,比较方便,主要优点是可以跨操作系统硬件平台。
下面是一个将linux系统迁移到wimdows系统的具体实施步骤(当然在32位linux和32位windows之间,可以直接复制数据文件,无需这么麻烦,此处为举例演示):
1) 以read only模式打开数据库
SQL>startup open read only;
2) 转换数据文件
CMD> RMAN target /
RMAN> run{
convert database transport script '/home/Oracle/temp/transcript.sql'
on target platform convert script '/home/oracle/temp/convert.sql'
to platform 'Microsoft Windows IA (32-bit)'
db_file_name_convert('/oracle/oradata/orcl','/home/oracle/temp');
};
3) 将参数文件、数据文件、转换脚本,拷贝到windows平台上
4) 在windows平台上建立数据库实例,然后依次执行脚本convert.sql、transcript.sql
5) 打开数据库,执行utlrp.sql,编译无效数据库对象。
四、总结
4.1 如何选择迁移方案
不同的迁移方案,所花费的时间可能在10分钟+到10小时+之间波动……..
方案选对了,你可以分分钟搞定,否则就得熬夜加班了。
总的来说,如果你要迁移数据,考虑工具的优先顺序如下:
把本文档从后往前看,就得到下面这顺序了……..
1) 如果迁移整个数据库,首选冷备迁移和RMAN迁移。否则首选表空间迁移
2) impdp/expdp
3) imp/exp
4) dblink+脚本
具体选择哪种方案,要根据实施环境而定。也许你谋划很久的方案,环境并不支持。但总有一种适合你。
4.2 impdp/expdp与imp/exp到底有什么区别?
Impdp/expdp = imp/exp + direct mor + parallel
Impdp/expdp比imp/exp快,最主要就是因为它具有并行执行的特性,且默认是直接路径导出。
除了性能优势外,impdp/expdp还提供了几个比较诱人的功能:
1) 提供并行执行的能力,加快导入导出速度
2) 提供交互式界面,可随时暂停导入导出操作
3) 提供多种表加载策略,如:追加、替换、跳过等
4) 提供数据库对象间的直接交换功能。
5) 提供导出文件大小估计功能
6) 提供导入、导出进度查看功能
7) 自动在导出文件目录下生成导入、导出日志文件。
回到最开始的问题,为什么imp/exp和impdp/expdp的导入导出速度差不多?
因为本次测试使用impdp/expdp工具时,设置的并行度为1。丧失了最主要的特性,能快的起来么。
既然这个并行度这么重要,那设置多少合适呢?设置太高,服务器CPU直接飙升至100%,导入速度还得不到提升。设置太低,完全看不到提速的效果。推荐设置:等于服务器CPU数,但不要高于dmp文件的个数。
本篇文章来源于 Linux公社网站(www.linuxidc.com) 原文链接:http://www.linuxidc.com/Linux/2012-10/72396p5.htm
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/919402?site
推荐阅读
article
在
Oracle
数据库
表中加载多个
数据文件
_
oracle
sqlldr
多个
数据文件
...
因此,最好的选择是让包含 SQL 加载命令的 Unix 程序始终运行。在本文中,我将展示 SQL 加载器 + Unix ...
赞
踩
article
oracle
如何
查看
序列
_
oracle
查询
序列
...
Oracle提供了多种方式来
查看
序列
的信息,包括
查看
当前用户下的
序列
、所有用户的
序列
、特定
序列
的详细信息、
序列
的当前值以...
赞
踩
article
oracle
查找
所有
序列
,
Oracle
查询
所有
序列
...
--查看当前用户的
所有
序列
select SEQUENCE_OWNER,SEQUENCE_NAME from dba_se...
赞
踩
article
如何
使用
编程
查询
Oracle
数据库
中的
序列号
_
oracle
查询
序列号
当前值...
通过以上方法,你可以以编程的方式
查询
Oracle
数据库
中的
序列号
。
使用
SQL
查询
语句可以直接执行
查询
并获取结果,...
赞
踩
article
Oracle
安装
docker
,使用
docker
安装
Oracle
12c
database
(一)...
首先在Ubuntu16.04
安装
好Docker软件,然后开始搜索
Oracle
的镜像。这里我们可以使用search命令搜索...
赞
踩
article
linux
中如何通过
docker
安装
oracle
12c
_
docker
pull
oracle
linu...
1、下载镜像
docker
pull
docker
.io/truevoly/
oracle
-
12c
2、运行镜像(1)创建挂载...
赞
踩
article
oracle12.2
dbca
安装
,
Oracle
12.2
安装
示例
schema
...
在做
Oracle
数据库实验时都会用到一些示例SCHEMA如:HR、OE、SH等,在
Oracle
11g版本时在DBCA时直...
赞
踩
article
Docker 安装
Oracle
12c
_
docker
oracle
12c
重启...
查询
docker
镜像
docker
search
oracle
1下载镜像
docker
pull
docker
.io/tru...
赞
踩
article
Centos7
静默安装 Oracle
11g
_
centos7
静默安装
oracle
11g
...
dev/zero是Linux的一种特殊字符设备(输入设备),可以用来创建一个指定长度用于初始化的空文件,如临时交换文件,...
赞
踩
article
CENTOS 7 静默安装
ORACLE
19C_
centos7
静默安装
oracle
19c 指定...
1.版本选择 centos 8会在2021年底结束,centos 7 会持续支持至2024年
oracle
19c是Lo...
赞
踩
article
Oracle
PL/SQL
进阶
_
oracle
sql
进阶
语法...
Oracle
PL/SQL
进阶
控制结构在任何计算机语言(c,java,c#,c++)都有各种控制语句(条件语句,循环语句...
赞
踩
article
oracle
空
字符串
截断,
Oracle
中的
varchar2
类型
及其
字符串
截取
...
1、
varchar2
类型
介绍1.1
Oracle
数据库常用的数据
类型
介绍
varchar2
类型
的同时,我们顺便了解下Ora...
赞
踩
article
Prometheus监控应用rabbitMQ\
docker
\
mysql
\
redis
\
oracle
\l...
服务安装后都在在
prometheus
的配置文件中配置路径,本文主要是描写监控的服务下载及启动,对配置不作详细介绍每添加一...
赞
踩
article
oracle
某
列
插入,
修改
表
的
列
oracle
添加
列
到指定位置 | 学步园...
1.
oracle
中创建一张表,写法与sql server中
的
一样。SQL> create table Course2 (...
赞
踩
article
The
provider
is not
compatible
with
the
version
of...
Oracle
Exception (0x80004005): The
provider
is not
compatible
...
赞
踩
article
oracle
多条
记录
取
第一条
_
oracle
排序
取
第一条
...
如果你不是基于某个特定的顺序来选择“
第一条
”
记录
,而是基于某个聚合值(如最大值或最小值),那么你可以使用聚合函数。在某些...
赞
踩
article
【
Oracle
SQL
语句 某字段
重复
数据
只取
一条】_
oracle
重复
数据
只取
一条...
用group by 来做,select的字段,group by指定code,聚集函数min或max取name_oracl...
赞
踩
article
Ubuntu
22.04 一键
安装
Oracle
19C 单机_
ubuntu
安装
oracle19c
...
Oracle
一键
安装
脚本,演示华为
Ubuntu
22.04 一键
安装
Oracle
19C 单机版过程(全程无需人工...
赞
踩
article
java
JDBC连接
sqlServer
、MySQL、
Oracle
、
Access
数据库_
jdbc
:s...
一、连接
sqlServer
1、Sql Server验证(用户名/密码方式连接)public static Connec...
赞
踩
article
【
oracle
】
窗口
函数
(
分析
函数
)详解_
oracle
窗口
函数
...
Oracle
窗口
函数
允许用户对查询结果的每一行执行计算,而不会改变原始查询结果的行数或顺序。这些
函数
特别适用于需要跨多行...
赞
踩
相关标签
数据库
oracle
vr
sql
unix
oracle 查找所有序列
编程
Oracle 安装 docker
linux
docker
oracle12.2 dbca安装
database
运维
服务器
centos
plsql
进阶
控制结构