rsync使用教程

一、rsync简介

1. rsync介绍

rsync（remote synchronize）是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync算法（差分编码）以减少数据的传输。

rsync算法并不是每一次都整份传输，而是只传输两个文件的不同部分，因此其传输速度相当快。

除此之外，rsync可拷贝、显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。

2. 工作原理

• 客户端构造FileList，FileList包含了需要与服务器同步的所有文件信息对name->id（id用来唯一表示文件例如MD5）

• 客户端将FileList发送到服务器。

• 服务器上rsync处理客户端发过来的FileList，构建新的NewFileList。
  其中根据MD5值比较，删除服务器上已经存在的文件信息对，只保留服务器上不存在或变化的文件。

• 客户端得到服务器发送过来的NewFileList，然后把NewFileList中的文件重新传输到服务器。

3. 优点

• 可以镜像保存整个目录树和文件系统。

• 可以很容易做到保持原来文件的权限、时间、软硬连接等。

• 无需特殊权限即可安装。

• 快速：第一次同步时rsync复制全部内容，但在下一次值传输修改过的内容

• 压缩传输：rysnc在传输的过程中可以实行压缩及解压缩操作，可以使用更少的带宽

• 安全：可以使用scp、ssh等方式来进行文件传输

• 支持匿名传输，以方便进行网站镜像

• rsync不仅可以远程同步数据（类似于scp），而且可以本地同步数据（类似于cp），做差异同步

• openssh 8.0已经把scp标记为过时不建议使用了。建议用sftp或者rsync替代scp

4. 认证方式

rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式，习惯使用ssh方式。

（1）rsync-daemon认证

rsync在rsync-daemon认证方式下，默认监听TCP的873端口。

rsync-daemon认证方式是rsync的主要认证方式，这个也是我们经常使用的认证方式。并且也只有在此种模式下，rsync才可以把密码写入到一个文件中。

注意：

• rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件。
• 客户端启动不启动rsync服务，都不影响同步的正常进行。

（2）ssh认证

rsync在ssh认证方式下，可通过系统用户进行认证，即在rsync上通过ssh隧道进行传输，类似于scp工具，此时同步操作不在局限于rsync中定义的同步文件夹。

注意：

• ssh认证方式， 不需要服务器和客户端配置rsync配置文件，只需要双方都安装rsync服务，并且也不需要双方启动rsync。

• 若rsync服务端SSH为标准端口，此时rsync使用方式如下：

# 将本机（10.7.2.230）上/root目录及目录下的文件同步到服务器10.7.2.231上的/root/backup目录下
# 在10.7.2.230上执行以下命令：
rsync -avuz /root root@10.7.2.231:/root/backup
# 带密码执行
sshpass -p '231机器root的密码' rsync -avuz /root root@10.7.2.231:/root/backup
1
2
3
4
5

• 若rsync服务端SSH为非标准端口，可通过rsync的-e参数进行端口指定（如ssh端口号为10022），使用方式如下：

# 将本机（10.7.2.230）上/root目录及目录下的文件同步到服务器10.7.2.231上的/root/backup目录下
# 在10.7.2.230上执行以下命令：
rsync -avuz /root -e 'ssh -p10022' root@10.7.2.231:/root/backup
1
2
3

二、rsync安装

1. 源码安装

#（1）下载
wget https://download.samba.org/pub/rsync/src/rsync-3.2.3.tar.gz

#（2）解压并安装
tar -xvf rsync-3.2.3.tar.gz

#（3）编译安装
# 源码安装rsync时，其编译时所需要的gcc库文件尽量提前安装完毕
# 默认安装到/usr/local/目录下
./configure
make &&make install

#（4）设置开机启动
echo “/usr/local/bin/rsync --daemon -config=/etc/rsyncd.conf” >>/etc/profile
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2. yum安装（centos中）

yum -y install rsync
1

三、参数说明

1. 常用参数

-v, --verbose详细模式输出

-a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性不变

-u, --update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件

-z,--compress对备份的文件在传输时进行压缩处理

--delete：删除那些DST中存在而在SRC中没有的文件

--exclude=PATTERN: 指定排除不需要传输的文件模式
1
2
3
4
5
6
7
8
9
10
11

2. 全部参数

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
# rsync foo/bar/foo.c remote:/tmp/      ## Rsync 参数在/tmp目录下创建foo.c文件，而如果使用-R参数：
# rsync -R foo/bar/foo.c remote:/tmp/   ## Rsync 参数会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-k, --copy-dirlinks  transform symlink to a dir into referent dir
-K, --keep-dirlinks  treat symlinked dir on receiver as dir
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定替代rsh的shell程序
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=FORMAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

四、rsync使用

由于ssh方式不需要进行配置文件配置，只需要像scp一样执行命令即可，因此本文主要介绍该方式的使用，rsync-daemon方式可参考其他教程。

例如需求为：将10.7.2.230上的/root目录文件同步到10.7.2.231上的/root/backup下，可通过以下两种方式来实现：

• 将本地文件推送（上传）到远端

# 在本地服务器上执行
# rsync  命令参数  源文件目录  目的目录
rsync [OPTION] SRC  [USER@]HOST:DEST

# 示例：在10.7.2.230上执行rsync，将/root目录文件同步到远程主机（10.7.2.231的/root/backup）上
rsync -avuz /root root@10.7.2.231:/root/backup
1
2
3
4
5
6

• 将远端文件拉（下载）到本地

# rsync  命令参数    源文件目录  目的目录
# rsync  [OPTION]  [USER@]HOST:SRC  [DEST]

# 示例：主机10.7.2.231上执行rsync，将10.7.2.230上/root下的目录文件下载到主机10.7.2.231的/root/backup上
rsync -auvz root@10.7.2.230:/root /root/backup  

#注意：
源目录加了斜线，效果就是将该目录下的内容传输到目标目录下
源目录不加斜线，效果就是将该目录传输到目标目录下
目标目录如果不存在，会自动创建目标目录
1
2
3
4
5
6
7
8
9
10