rsync文件同步_rsync同步

一、rsync简介

1、rsync 全名 Remote Sync，是类 UNIX 系统下的数据镜像备份工具。可以方便的实现本地、远程备份，rsync 提供了丰富的选项来控制其行为。

（1）Remote Sync, 远程同步 端口 873

（2）支持本地复制，或者与其他SSH、rsync 主机同步

（3）官方网站：https://rsync.samba.org/

2、rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

3、在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

4、rsync 是一个功能非常强大的工具，其命令也有很多功能选项，它的特性如下：

• 可以保持文件原来的权限、时间、所有者、组信息、软硬链接等等
• 可以从远程或者本地镜像保存整个目录树和文件系统
• 无须特殊权限 super-user 即可安装使用
• 快速：要比 scp (Secure Copy) 要快；第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，可以使用更少的带宽
• 安全：可以使用 scp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接
• 支持匿名传输，以方便进行网站镜像

二、同步方式

1. 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。
2. 差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。
3. 增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）

备份的方式

1. 发起端：负责rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据
2. 备份源：负责响应来自客户机rsync 同步操作的服务器叫做备份源，需要备份的服务器
3. 服务端：运行rsyncd服务，一般来说，需要备份的服务器
4. 客户端：存放备份数据

三、常用Rsync命令

#基本格式：
rsync [选项] 原始位置 目标位置
1
2

常用选项：
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-H：保留硬连接文件。
-A：保留 ACL 属性信息。
-D：保留设备文件及其他特殊文件。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

配置源的两种表达方法

1、

#用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.22::wwwroot /opt/
1
2

2、

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/
1
2

配置服务端与客户端的实验

#首先关闭防火墙和增强功能
systemctl stop firewalld
setenforce 0
1
2
3

rsync安装

yum install -y rsync
1

① 配置rsync源服务器（192.168.99.121）

#建立/etc/rsyncd.conf 配置文件

vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = yes
address = 192.168.99.121
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.99.0/24
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
[rsync1]
path = /opt/testrsync
comment = test of rsync
read only = yes
auth users = backuper
secrets file = /etc/rsyncd_users.db
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

#为备份账户创建数据文件
vim /etc/rsyncd_users.db
backuper:123123 #无须建立同名系统用户
chmod 600 /etc/rsyncd_users.db
1
2
3
4

#保证所有用户对源目录/opt/testrsync都有读取权限
chmod +r /opt/testrsync/
ls -ld /opt/testrsync/
#启动 rsync 服务程序
rsync --daemon #启动 rsync 服务，以独立监听服务的方式（守护进程）运行
netstat -anpt | grep rsync
1
2
3
4
5
6

② 客户端（192.168.99.130）

格式一

#将指定的资源下载到本地/opt 目录下进行备份。
rsync -avz backuper@192.168.99.121::rsync1 /opt/ #密码123123
1
2

格式二

rsync -avz rsync://backuper@192.168.99.121/rsync1 /opt/
1

免交互格式配置

echo "123123" > /etc/server.pass
chmod 600 /etc/server.pass
在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。
1
2
3

发起端（客户端）配置 rsync+inotify

1、rsync实时同步

（1）定期同步的不足

执行备份的时间固定，延迟明显，实时性差

当同步源长期不变时，密集的定期任务是不必要的

（2）实时同步的优点

一旦同步源出现变化，立即启动备份

只要同步源无变化，则不执行备份

2、Linux内核的inotify机制

可以监控文件系统的变动情况，并做出通知响应

辅助软件：inotify-tools

在生产中有一种需求是，当目录下的文件数据发生变化时，就将数据备份到备份服务器上。实现这样的需求需要做到以下两点：

• 利用监控服务 inotify，监控到要同步服务器的目录文件的变化
• 发现目录数据发生变化就利用 rsync 服务将数据发送到备份服务器

因此，利用 rsync+inotify 可实现数据的实时同步。
Inotify是一种强大的，细粒度的。异步的文件系统事件监控机制，linux内核从2.6.13起，加入了 Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种事件。 利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实施这样监控的软件。
使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

实验准备

#首先关闭防火墙和增强功能
systemctl stop firewalld
setenforce 0
1
2
3

1．修改rsync源服务器配置文件

vim /etc/rsyncd.conf
......
read only = no #关闭只读，上行同步需要可以写
systemctl restart rsyncd
1
2
3
4

2．调整客户端 inotify 内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：
max_queue_events（监控事件队列，默认值为16384）、
max_user_instances（最多监控实例数，默认值为128）、
max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192
sysctl -p
1
2
3
4
5
6
7
8

3．安装 inotify-tools

用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

inotifywait -mrq -e modify,create,move,delete 目录

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息
1
2
3
4
5
6

inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

yum安装

yum install -y epel-release.noarch
yum install -y inotify-tools
1
2

4．在另外一个客户端终端编写触发式同步脚本

（注意，脚本名不可包含rsync 字符串，否则脚本不生效）

vim /opt/inotify.sh
1

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/test/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/test/ backuper@192.168.99.121::rsync1/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
do
        echo d:$DIRECTORY
        echo e:$EVENT
        echo f:$FILE
if [ $(pgrep rsync | wc -l) -gt 0 ] ; then
$RSYNC_CMD
fi
done
chmod +x /opt/inotify.sh
chmod 777 /opt/test/
chmod +x /etc/rc.d/rc.local
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

echo '/opt/inotify.sh' >> /etc/rc.d/rc.local #加入开机自动执行
1

5. 测试

客户端
终端1

 ./inotify.sh 
1

终端2

 cd /opt/test 
 touch test777
1
2

服务端

ls /opt/testrsync/
1

rsync的应用场景

1、增量同步
2、备份/迁移：可以作为辅助工具（mysql 主从复制 rsync +inotify ——>>趋于一致 双向同步——MM，但是只能在并发量不大的时候可以用）
3、假设mysql 从主机A迁移到主机B（一主两从模式）
一主两从模式迁移方案
①确定迁移的时间、业务线停止的时间、要写文档描述具体操作，要发邮件审批
②确认迁移后的节点的环境问题（资源环境 + 系统依赖环境 + mysql内部的格式环境）
1）例如自增长，自增长可能会导致主从复制不一致的情况
2）版本迁移问题，比如说低版本向高版本迁移。两个版本中的差异比较大，数据迁移比较重要，需要和
研发沟通，让研发开发一个工具，让低版本可以转成高版本工具格式，使用工具迁移)
③ 如果数据库是相同版本，可以用rsync + inotify持续同步
④ 测试、之前还要编写回滚方案
⑤ 提交检修申请 22：00 - 00：00

tips：

touch file {1..10000}
1

//使用rsync来实现快速删除大量文件。
假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存
等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

先建立一个空的文件夹：

mkdir /home/blank
1

用rsync删除目标目录：

rsync --delete-before -a -H -v --progress --stats /home/blank /usr/local/nginx/proxy_temp
1

这样目标目录很快就被清空了
选项说明：

--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态
1
2
3
4
5
6