阿里云RDS 数据迁移备份本地数据库_阿里云rds数据库备份到本地

RDS MySQL物理备份文件恢复到自建数据库

方案准备

ps：本次实例以mysql5.7为例

注意事项

RDS实例中的表未通过TDE加密

​ 实例中如果存在加密过的表，会导致恢复过程出错，在下载备份文件前，对已加密的表执行解密操作

​ 可在RDS控制台目标实例数据安全性 > TDE页面查看TDE开启状态

Mysql自建库版本与RDS Mysql版本必须相同

自建库所在服务器中必须根据不同Mysql实例安装对应版本的Percona XtraBackup

安装Mysql

##首先安装wget命令
yum install -y wget

##下载Mysql的yum源配置
wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

##安装Mysql的yum源
yum -y install mysql57-community-release-el7-11.noarch.rpm

##使用yum方式安装Mysql5.7
yum -y install mysql-server --nogpgcheck --nogpgcheck

##启动mysql
systemctl start mysqld.service
systemctl enable mysqld.service

##找到mysql的默认密码
cat /var/log/mysqld.log | grep password
2022-11-02T15:01:52.976608Z 1 [Note] A temporary password is generated for root@localhost: !Th7<vMBA2w_
ps：其中默认密码是： !Th7<vMBA2w_

##登录mysql
mysql -uroot -p' !Th7<vMBA2w_'

##修改mysql密码
alter user user() identified by 'Qj123.com';

##刷新配置
grant all privileges on . to 'root'@'%' identified by 'Qj123.com' with grant option; flush privileges; 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

Mysql的其他配置

##修改Mysql的默认密码策略 - 可设置简单密码
set global validate_password_policy=0;
set global validate_password_length=1;
flush privileges;

##设置简单密码
alter user 'root'@'localhost' identified by '123456';
grant all privileges on . to 'root'@'%' identified by '123456' with grant option;
flush privileges;
1
2
3
4
5
6
7
8
9

安装Percona XtraBackup2.4

##安装配置工具 percona-release
 yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 
##如果安装不成功可手动安装
 wget https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 rpm -ivh percona-release-latest.noarch.rpm
 
##测试存储库
yum list | grep percona

##启用存储库
percona-release enable-only tools release

##如果Percona XtraBackup打算与 上游 MySQL 服务器，你只需要启用仓库：
.toolspercona-release enable-only tools

##安装 Percona XtraBackup：
yum install percona-xtrabackup-24

##Percona 测试存储库yum¶
Percona从我们的测试存储库提供预发布版本。要订阅 测试存储库，您需要在 /etc/yum.repos.d/percona-release.repo.为此，请将两者设置为 （请注意，此文件中有 3 个部分：发布、测试 和实验 - 在这种情况下，它是需要的第二部分 正在更新）。percona-testing-$basearchpercona-testing-noarchenabled = 1

##为了能够进行压缩备份，安装软件包：qpress
yum install qpress -y

##使用下载的rpm包安装Percona XtraBackup
 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/\
binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##本地安装rpm包
 yum localinstall percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##PS:卸载 Percona XtraBackup：   
yum remove percona-xtrabackup
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

自建库安装qpress解压工具

## 下载可执行文件的tar包
wget "http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/183466/cn_zh/1608011575185/qpress-11-linux-x64.tar"

## 解压下载的tar包，取出可执行文件
tar xvf qpress-11-linux-x64.tar

## 设置qpress文件的执行权限
sudo chmod 775 qpress

## 拷贝qpress到/usr/bin中
cp qpress /usr/bin
1
2
3
4
5
6
7
8
9
10
11

下载备份

在Linux服务器上，执行如下命令下载物理备份

-  wget -c ‘http://…’ -o test_qp.xb
1

test_qp.xb是另存的文件名

解压和恢复备份

##在本地服务器上创建一个目录 用于存放解压后的文件
mkdir  -p /mysql/data

##解压压缩包 - 根据压缩包后缀选择解压命令
1
2
3
4

ps：解压压缩包命令

##查看解压生成后的文件
ls -l /mysql/data

ps：会自动生成一个backup-my.cnf文件

##恢复解压好的备份文件   - -mysql5.6/5.7
innobackupex --defaults-file=/mysql/data/backup-my.cnf --apply-log /mysql/data

##恢复解压好的备份文件   - -mysql8.0
## xtrabackup工具备份前的准备操作
xtrabackup --prepare --target-dir=/mysql/data
## 执行备份还原命令
xtrabackup --datadir=/var/lib/mysql --copy-back --target-dir=/mysql/data
1
2
3
4
5
6
7
8
9
10
11
12
13

ps：参数含义

若系统返回如下类似结果，则说明备份文件已成功恢复到自建数据库：

常见报错

​ 若系统返回xtrabackup: Unknown error 3613，请将Percona XtraBackup更新到最新版本后再次尝试

​ 若系统返回如下报错，可以用rm -rf /var/lib/mysql/*命令清空文件夹内文件，然后用chown -R mysql:mysql /var/lib/mysql修改权限。

启动Mysql

ps：为了避免版本问题，需修改backup-my.cnf文件

##编辑backup-my.cnf
vi /tmp/backup.cnf
#innodb_log_checksum_algorithm
#innodb_fast_checksum
#innodb_log_block_size
#innodb_doublewrite_file
#innodb_encrypt_algorithm
#rds_encrypt_data
#redo_log_version
#master_key_id
#server_uuid
#innodb_log_checksum_algorithm=strict_crc32
#redo_log_version=1

lower_case_table_names=1
skip-grant-tables

##修改文件属性
chown -R mysql:mysql /mysql/data

##启动mysql进程
mysqld --defaults-file=/mysql/data/backup-my.cnf --user=mysql --datadir=/var/lib/mysql &
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

启动错误常见报错

**错误一：**

解决方案：

windows 下，将原来的mysql data目录下文件 全部拷贝成原来的 ，启动mysql 失败

ERROR 2003 (HY000): Can’t connect to MySQL server on ‘localhost’ (10061)

尝试网上其他方法未果；可采用下面的方法；

查看mysql 启动失败原因方法：

1 mysqld -remove

2 mysqld -install

3 mysqld --console

解决如图问题方法：

删除data 目录下 所有 id_logfile 重启mysql 解决问题；

**错误2：**

出现原因：系统中已有mysql启动进程

解决方案：

杀掉原有mysql进程 重启mysql进程

关于内存扩容

扩容原因：因原有阿里云数据压缩后存放于本地，待解压后 本地空间不足 需扩容再解压

1. 查看已分配的磁盘使用情况：准备为它扩容

2. 查看全部磁盘（包括已分配与未分配的磁盘使用情况）

3. 可以发现dev这块磁盘总量21.5G，现在为sdb扩容

4. fdisk /dev/sdb

5. 对新增的磁盘处理

6. 输入partprobe 让系统识别新增的分区

7. 创建物理卷，使用pvcreate /dev/sdb1

8. 使用vgextend命令进行动态扩展

9. 将空闲的磁盘拓展到分区

10. 重新识别分区 - xfs_growfs /dev/mapper/centos-root

11. 确认服务器空间 - df -h

关于开放防火墙

systemctl unmask firewalld 执行命令，即可实现取消服务的锁定

systemctl mask firewalld # 下次需要锁定该服务时执行

systemctl start firewalld.service #启动防火墙

systemctl stop firewalld.service #停止防火墙

systemctl reload firewalld.service #重载配置

systemctl restart firewalld.service #重启服务

systemctl status firewalld.service #显示服务的状态

systemctl enable firewalld.service #在开机时启用服务

systemctl disable firewalld.service #在开机时禁用服务

systemctl is-enabled firewalld.service #查看服务是否开机启动

systemctl list-unit-files #查看当前开机启动状态的服务列表

systemctl list-unit-files|grep enabled 查看以允许开机自启的服务

systemctl --failed #查看启动失败的服务列表