Linux转移海量小文件的技巧_linux多个小文件tb级迁移方法

在做文件迁移或者服务器迁移的时候，有时候会遇到海量小文件的情况，尤其是有那种用户上传文件，图片，附件的服务器，动辄就是几十上百G的文件，而每个文件只有几K到几十K，使用普通的cp，scp，ftp传输非常慢而且不支持断点续传。如果通过先打包再传输的方式，要消耗掉大量的存储空间，而且压缩和解压又要消耗双倍的时间，非常不划算。下面介绍几种备份海量小文件的方法，持续更新。

1、rsync同步

通过cp，scp，ftp备份文件不仅要考虑到网络带宽，并且在文件又小又多的情况下传输速度也上不去，而且不支持断点续传，rsync同样使用网络进行备份，不过有很大的好处，比如不受文件系统的约束，只要是文件就可以远程传输，而且可以断点续传，rsync会自动扫描哪些传输完成，哪些没有完成，哪些传输损坏，所以我们可以不受限与时间和空间，分批传输。

rsync的搭建非常简单，只需安装然后写一个配置文件即可

被复制端安装rsync服务器

yum install rsync

编写配置文件 

vi /etc/rsyncd.conf

配置文件内容，这里假设我们要同步/app下面的所有内容

uid=nobody
gid=nobody
max connetctions=4
use chroot=no
log file=/var/log/rsyncd.log
transfer logging=yes
log format=%t %a %m %f %b
pi