分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。分布式文件系统与传统文件系统对比：

传统方式弊端：如果用户数量多，IO操作比较多，对磁盘访问压力很大，如果磁盘发生故障，会造成数据丢失，存储容量有限。

二、FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。

FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS系统架构从第一个版本发布后一直没有大的调整，高版本完全兼容低版本的数据，可以做到平滑升级，推荐更新升级到最新版本。FastDFS代码托管在github上：https://github.com/happyfish100/fastdfs

三、FastDFS整体架构

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端。

1. 客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。

2. 服务端由两个部分构成：一个是跟踪器（tracker），一个是存储节点（storage）。跟踪器（tracker）主要做调度工作，在内存中记录集群中存储节点storage的状态信息，是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。存储节点（storage）用于存储文件，包括文件和文件属性（meta data）都保存到存储服务器磁盘上，完成文件管理的所有功能：文件存储、文件同步和提供文件访问等。

四、FastDFS安装

1.检查Linux上是否安装了 gcc、libevent、libevent-devel


yum list installed | grep gcc
 
yum list installed | grep libevent
 
yum list installed | grep libevent-devel

2.如果没有安装，则需进行安装

yum install gcc libevent libevent-devel -y

3. 安装 libfastcommon 库

libfastcommon 库是 FastDFS 文件系统运行需要的公共 C 语言函数库

注意：目前最新版本的v1.0.39和FastDFS5.11不兼容，这里使用的版本是v1.0.36

下载地址：https://github.com/happyfish100

将下载好的libfastcommon文件上传到Linux(/home/soft)，并且解压tar.gz到当前目录：

tar -zxvf libfastcommon-1.0.36.tar.gz

切换到解压目录后执行make和make install安装：


cd libfastcommon-1.0.36
 
./make.sh
 
./make.sh install

4.安装FastDFS

FastDFS没有Windows版本，不能在Windows下使用。

FastDFS需要安装部署在Linux环境下，我们这里使用的是fastdfs-5.11版本（201901）

下载地址：https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

将下载好的FastDFS文件上传到Linux(/home/soft)，并且解压tar.gz到当前目录：

tar -zxvf fastdfs-5.11.tar.gz

切换到解压目录后执行make和make install安装：


cd fastdfs-5.11
 
./make.sh
 
./make.sh install

至此FastDFS安装完成

所有编译出来的文件存放在/usr/bin目录下，所有配置文件存放在/etc/fdfs目录下

5.查看安装后的结果

查看FastDFS相关的可执行程序


cd /usr/bin 
 
ll /usr/bin/fdfs*

查看FastDFS配置文件

ll /etc/fdfs/

6.拷贝配置文件

另外注意需要把解压后的fastdfs-5.11/conf目录下的两个文件拷贝到/etc/fdfs/ ，否则后续会有很多奇怪问题不好解决


cd /home/soft/fastdfs-5.11/conf
 
cp http.conf /etc/fdfs/
 
cp mime.types /etc/fdfs/

五、FastDFS配置

1.去掉/etc/fdfs/目录下FastDFS配置文件的后缀名

2.修改tracker.conf配置(base_path=/opt/fastdfs/tracker)

vim tracker.conf

3.修改storage.conf文件

base_path=/opt/fastdfs/storage # storage存储数据目录

store_path0=/opt/fastdfs/storage/files # 真正存放文件的目录

tracker_server=192.168.235.128:22122 # 注册当前存储节点的跟踪器地址

vim storage.conf

4.创建所有必须的目录

/opt/fastdfs/tracker

/opt/fastdfs/storage

/opt/fastdfs/storage/files

/opt/fastdfs/client

六、启动FastDFS

fdfs_trackerd /etc/fdfs/tracker.conf # 跟踪器启动

fdfs_storaged /etc/fdfs/storage.conf # 存储节点启动

ps -ef | grep fdfs # 查看进程

fdfs_monitor /etc/fdfs/storage.conf # 查看storage是否已经注册到了tracker下

七、重启


fdfs_trackerd /etc/fdfs/tracker.conf restart
 
fdfs_storaged /etc/fdfs/storage.conf restart

八、关闭


fdfs_trackerd /etc/fdfs/tracker.conf stop
 
fdfs_storaged /etc/fdfs/storage.conf stop

九、测试案例

1.首先修改client.conf里面的配置文件（参考：五、FastDFS配置）


base_path=/opt/fastdfs/client
 
tracker_server=192.168.119.129:22122

2.准备一个测试文件

3.执行上传命令

fdfs_test /etc/fdfs/client.conf upload aa.txt

没有搭建集群默认只有一个组group1
后缀名包含-m的为属性文件(meta)
在Linux中并没有磁盘一说,是虚拟的

4.切换到存储目录查看文件上传情况

cd /opt/fastdfs/storage/files/data/00/00/

5.删除文件

fdfs_delete_file /etc/fdfs/client.conf group1/要删除的文件路径

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/441478