FastDFS学习--3.FastDFS集群搭建和优化_fastdfs集群搭建3台

FastDFS集群搭建

环境准备

• 安装三台虚拟机，并设置好网络(用的是VirtualBox安装了三台CentOs),可以参考这里
• 每台机器上安装第1章介绍的，FastDFS在Linux单机安装，先安装好，3个tracker，3个storage

配置tracker集群，三台相同

• 修改/etc/fdfs/tracker.conf文件，设置store_lookup=0
  • 设置为0，主要是为了测试的时候能方便看测试结果

配置storage集群

• 修改配置文件/etc/fdfs/storage.conf

tracker_server=192.168.56.121:22122
tracker_server=192.168.56.122:22122
tracker_server=192.168.56.123:22122
# 192.168.56.123机器上的配置为group2
group_name=group1
# storage的端口号，同一个组的storage端口号必须相同
port=23000
1
2
3
4
5
6
7

• 配置完上面的之后，分别重启三台机器

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
1
2

查看storage的日志，查看tracker集群信息

cat /home/fastdfs/logs/storaged.log

• 注意：如果日志显示连不上，要看看防火墙是不是关闭了，关闭防火墙命令systemctl stop firewalld

查看存储集群信息

/usr/bin/fdfs_monitor /etc/fds/storage.conf

测试上传

• 修改配置文件 /etc/fdfs/client.conf，修改一台或者都修改都行

tracker_server=192.168.56.121:22122
tracker_server=192.168.56.122:22122
tracker_server=192.168.56.123:22122
1
2
3

• 在一台机器上操作文件上传
  /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/OOP.png

[root@loaclhost 00]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/OOP.png
group1/M00/00/00/wKg4eV8wGSaAWoPBAAIxAbCC66s272.png
[root@loaclhost 00]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/OOP.png
group2/M00/00/00/wKg4e18wGSmAFel1AAIxAbCC66s679.png
[root@loaclhost 00]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/OOP.png
group1/M00/00/00/wKg4el8wGSqAY3JcAAIxAbCC66s773.png
[root@loaclhost 00]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/OOP.png
group2/M00/00/00/wKg4e18wGSuALH7eAAIxAbCC66s763.png
1
2
3
4
5
6
7
8

• 测试上传会发现，一个文件会交替存储在group1和group2中

使用Nginx和FastDFS集群结合

• 因为之前按照单机装的时候，把Nginx已经安装好了，所以这里只要改一点配置就好了
• 修改配置文件 /etc/fdfs/mod_fastdfs.conf

tracker_server=192.168.56.121:22122
tracker_server=192.168.56.122:22122
tracker_server=192.168.56.123:22122
group_name=group1 #注意，在123机器上group_name=group2
1
2
3
4

测试文件服务器

http://192.168.56.121:8888/group1/M00/00/00/wKg4eV8vzriAaDnFAAIxAbCC66s344.png
http://192.168.56.122:8888/group1/M00/00/00/wKg4eV8vzriAaDnFAAIxAbCC66s344.png
http://192.168.56.123:8888/group1/M00/00/00/wKg4eV8vzriAaDnFAAIxAbCC66s344.png

FastDFS配置优化

最大连接数设置

• 配置文件：tracker.conf和storage.conf
• 参数名：max_connections
• 缺省值：256
• 说明：FastDFS为一个连接分配一个task buffer，为了提高分配效率，FastDFS采用内存池的做法。之前版本采用事先分配max_connections个buffer，在max_connections设置过大的情况下太浪费内存。v5.04采用增量方式，tracker一次预分配1024个，storage一次预分配256个，总的task buffer初始内存占用情况测算如下
  * 改进前：max_connections * buffer_size
  * 改进后：max_connections和预分配的连接数小的那个 * buffer_size

工作线程数设置

• 配置文件：tracker.conf和storage.conf
• 参数名：work_threads
• 缺省值：4
• 说明：为了避免CPU上下文切换的开销，以及不必要的资源消耗，不建议将本参数设置得过大。为了发挥出多个CPU的效能，系统中的线程总数，应等于CPU总数。对于tracker server，公式为：work_threads + 1 = CPU数；对于storage，公式为：work_threads + 1 + （disk_reader_yhreads+ disk_writer_threads）* store_path_count=CPU数

storage目录数设置

• 配置文件：storage.conf
• 参数：subdir_count_per_path
• 缺省值：256
• 说明：FastDFS采用二级目录的做法，目录会在FastDFS初始化时自动创建，存储海量小文件，打开了trunk存储方式的情况下，建议将本参数适当改小，比如设置32，此时存放文件目录数为32 * 32=1024.假如trunk文件大小采用缺省值64MB，磁盘空间2TB，name每个目录下存放的trunk文件数均值为：2TB/（1024 * 64MB）=32个

storage磁盘读写线程设置

• 配置文件：storage.conf
• 参数名： disk_rw_separated:磁盘读写是否分离、disk_reader_threads:单个磁盘读线程数、disk_writer_threads:单个磁盘写线程数
• 说明 ：如果磁盘读写混合，单个磁盘读写线程数为读线程数和写线程数之和，对于单盘挂载方式，磁盘读写线程分别设置为1即可。如果磁盘做了RAID，那么需要酌情加大读写线程数，这样才能最大程度发挥磁盘性能

storage同步延迟相关设置

• 配置文件：storage.conf
• 参数名：sync_binlog_buff_interval
  • 说明：将binlog buffer写入磁盘的时间间隔，取值大于0，缺省值 为60s
• 参数名：sync_wait_msec
  • 说明：如果没有需要同步的文件，对binlog进行轮询的时间间隔，取值大于0，缺省 值为200ms
• 参数名：sync_interval
  • 说明：同步完一个文件后，休眠的毫秒数，缺省值为0
• 注意：为了缩短文件同步时间，可以将上面的三个参数适当调小