赞
踩
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wlwlwlwl015/article/details/52619851
前言
项目中用到文件服务器,有朋友推荐用fastdfs,所以就了解学习了一番,感觉确实颇为强大,在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级分布式文件系统,本篇blog就记录一下fastdfs的最新版本5.0.5在centos7中的安装与配置。
简介
首先简单了解一下基础概念,FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。FastDFS的系统结构图如下:
如上图,FastDFS的两个核心概念分别是:
Tracker(跟踪器)
Storage(存储节点)
Tracker主要做调度工作,相当于mvc中的controller的角色,在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成,跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务,其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。Tracker负责管理所有的Storage和group,每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据storage的心跳信息,建立group==>[storage server list]的映射表,Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提供读写服务。
Storage采用了分卷[Volume](或分组[group])的组织方式,存储系统由一个或多个组组成,组与组之间的文件是相互独立的,所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume](组[group])可以由一台或多台存储服务器组成,一个组中的存储服务器中的文件都是相同的,组中的多台存储服务器起到了冗余备份和负载均衡的作用,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。更多原理性的内容可以参考这篇blog,介绍的很详细:分布式文件系统FastDFS设计原理
接下来就具体看一下FastDFS的整个下载安装过程~
下载
目前作者最后一次releases的时间的14年11月22号,对应的最新版本是5.0.5,直接在余大的GitHub上下载就可以了:
https://github.com/happyfish100/fastdfs/releases
如上图,由于FastDFS是纯C语言实现,只支持Linux、FreeBSD等UNIX系统,所以我们直接下载tar.gz的压缩包,同时FastDFS 5.0.5同以前版本相比将公共的一些函数等单独封装成了libfastcommon包,所以在安装FastDFS之前我们还必须安装libfastcommon,在余大的GitHub首页可以看到:
下载完成后将下面这两个文件上传至CentOS服务器,然后就可以开始解压安装了:
首先第一步是安装libfastcommon,我这里将libfastcommon上传到的/usr/local目录下,直接解压:
unzip libfastcommon-master.zip
解压成功后进入目录看一下压缩包的文件:
如果没有装解压工具unzip可以通过以下yum命令进行安装后再解压:
yum -y install unzip zip
解压完成后就可以进行编译安装了,分别执行./make.sh
和./make.sh install
,由于是新安装的系统有可能会提示找不到gcc命令:
如上图,所以我们先要安装gcc编译器:
yum -y install gcc-c++
看到如下信息说明gcc已经安装成功:
此时再次执行./make.sh
命令进行编译,没有error信息的话就说明编译成功了,最后再执行./make.sh install
进行安装,看到类似如下提示信息就说明libfastcommon已安装成功(画风突变,黑底白字看的眼睛累T_T,所以换成白底黑字了):
至此libfastcommon就已经安装成功了,但注意一下上图中红色框标注的内容,libfastcommon.so 默认安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以此处需要重新设置软链接(类似于Windows的快捷方式):
- ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
- ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
- ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
- ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
设置完毕后就可以开始安装fastdfs了。
第一步依然是解压:
tar -zxvf fastdfs-5.05.tar.gz
解压完成后进入目录fastdfs-5.05,依次执行./make.sh和./make.sh install:
- ./make.sh
- ./make.sh install
没有报错就说明安装成功了,在log中我们可以发现安装路径:
没错,正是安装到了/etc/fdfs中,我们看一下该目录下的文件:
如上图,安装成功后就会生成如上的3个.sample文件(示例配置文件),我们再分别拷贝出3个后面用的正式的配置文件:
- cp client.conf.sample client.conf
- cp storage.conf.sample storage.
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。