运维笔记：inotify+rsync实现实时监控备份_centos 实时同步备份

inotify+rsync简介

inotify 仅支持 2.6.13 以上内核开，当然现在基本上都是2.6.13以上的，除非真的很旧的系统。不放心的可以自已uname -r查看你的内核。也可在查看ll /proc/sys/fs/inotify/ （系统不同，路径也不同）是否有三个文件，如果有表明内核支持 inotify。

inotify 可以监控文件，也可以监控目录。当监控目录时，它可以同时监控目录及目录中的各子目录及文件的。所以用rsync + inotify的方法监控web服务器或者nfs存储服务器，inotify只要发现有变化，通过rsync将文件同步至备份服务器。但缺点是rsync同步时同步整个目录（遍历效率低）。因此还有另外一种rsync+sersync架构。

sersync是基于inotify开发的工具，rsync+sersync可具体监控到每个文件夹的某个文件的名字，所以rsync同步时，只需要同步改变的某个文件，无需同步整个目录。

当同步的目录数据量不大时，建议使用rsync+inotify
当同步的目录数据量很大时（几百G甚至1T以上）文件很多时，建议使用rsync+sersync

rsync+inotify 搭建请参考另一篇：rsync+sersync实时同步

测试环境介绍：2台机器，系统Linux（centos 7）
nfs存储共享服务器ip：172.16.2.3 （已安装nfs，rsync）
rsync备份服务器ip ：172.16.2.4（已安装rsync）
要求：inotify+rsync监控nfs服务器 /www目录，有更新或修改文件后，同步至rsync备份服务器/backup/web目录。

nfs存储共享服务器搭建参考：Linux搭建NFS存储共享服务器
rsync备份服务器搭建参考：Linux搭建rsync备用服务器

---

---

---

一 ：inotify的安装与使用

1：在nfs服务器上yum直接按照 inotify-tools

没有没有安装epel-release第三方源，是没法直接yum安装的。
没有安装的直接先yum install -y epel-release即可。
然后yum 安装inotify-tools。

yum install -y inotify-tools
1

2：测试inotify是否启动

监控/www目录创建选项，并以年月日时分显示所创建的文件。

打开另外会话窗口2，在会话2中依次创建bbb.txt，ccc.txt， ddd.txt文件。
在原会话窗口1可看到已成功监控到创建了文件。

inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f' -e create /www
1

inotify之inotifywait命令详解
参数详解：

-r：递归查询目录
-q：打印监控时间信息
-m：始终保持时间监听状态
--excludei： 排除文件或目录时，不区分大小写。
--timefmt： 指定时间输出的格式
--format： 打印使用指定的输出类似格式字符串
a、 %w：显示被监控文件的文件名；
b、 %f：如果发生某事件的对象是目录，则显示被监控目录的名字；默认显示为空串；
c、 %T：使用--timefmt 选项中自定义的时间格式；
d、 %e 表示发生的事件
e、 %Xe 事件以“X”分隔
-e：指定需要监控的事件
access： 文件或目录被读取
modify： 文件或目录内容被修改
attrib： 文件或目录属性被改变
close： 文件或目录封闭，无论读/写模式
open：文件或目录被打开
move_to：文件或目录被移动到另外一个目录
move：文件或目录被移动另一个目录或从另一个目录移动到当前目录
create：文件或目录被创建在当前目录
delete：文件或目录被删除
unmount：文件系统被卸载
常用组合：close_write,modify,delete,create,attrib 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

二：编写监控脚本

1：输入脚本内容：

vim inotify.sh
1

最基本的脚本内容用无限循环即可，当/www目录发现有增删改时，实行将/www所以文件同步至备份服务器。最基础的脚本，后续可自行优化，分别对文件夹文件的增、删、改对不同的条件执行即可。

#!/bin/bash
/usr/bin/inotifywait -mrq '%w%f' -e close_write,modify,delete,create /www \
| while read line
do
rsync -avz /www/ rsync_backup@172.16.2.4::backup/ --password-file=/etc/rsync.password >/dev/null 2>&1
done
exit 0
1
2
3
4
5
6
7

2：执行脚本并测试

chmod +x inotify.sh    #对脚本添加执行权限
sh inotify.sh &        #运行脚本监控/www
1
2

sh inotify.sh & 脚本后面加上& 为后台执行，结束用pkill或者kill直接杀死即可，
用ps -ef|grep inotify查看脚本是否运行。

脚本已经在后台运行：

在nfs服务器目录/www创建{1…6}.txt，6个文件。

并在rsync服务器查看是否有文件同步过来。

touch /www/{1..6}.txt           #在NFS服务器上上创建文件进行测试    
ll /backup/web                  #rsync备份服务上查看是否备份成功   
1
2

查看备份服务器目录文件已经同步过来，已同步成功…

3：脚本设置开机启动

最后将脚本加入rc.local 文件，开机启动即可。

echo "/bin/bash inotify.sh &" >> /etc/rc.local   #设置开机启动
1

三：修改inotify默认参数（可选）

inotify默认内核参数值太小，分别就是
查看系统默认参数值

sysctl -a | grep max_queued_events
结果是：fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
结果是：fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
结果是：fs.inotify.max_user_instances = 128
1
2
3
4
5
6

修改参数命令

sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
1
2
3

并在sysctl.conf文件添加以下内容

vi /etc/sysctl.conf
1

fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
1
2
3

保存退出完成。

参数说明：
max_queued_events：
inotify队列最大长度，如果值太小，会出现"** Event Queue Overflow **"错误，导致监控文件不准确

max_user_watches：
设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）

max_user_instances：
每个用户创建inotify实例最大值
【inotify在实际生产环境中，对于50-200KB的文件，inotify的最发并发量为200-300，如果客户端写入速度大于这个量，将会造成短暂的延迟】