当前位置:   article > 正文

分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)_go-fastdfs漏洞

fastdfs

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Go语言开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以戳这里获取

+ [4.4.配置storage服务器](#44storage_981)
+ [4.5.文件上传测试(ip01)](#45ip01_1057)
+ [4.6.在所有storage节点安装fastdfs-nginx-module](#46storagefastdfsnginxmodule_1088)
+ [4.7.验证:通过浏览器访问测试时上传的文件](#47_1225)
+ [4.8.Java API 客户端配置](#48Java_API__1233)
  • 1
  • 2
  • 3
  • 4
  • 5

一、FastDFS是什么?

1.1.简介

FastDFS是基于互联网应用的开源分布式文件系统,主要用于大中型网站存储资源文件,如图片、文档、音频、视频等。FastDFS采用类似GFS的架构,用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX 系统。用户端只能通过专有API对文件进行存取访问,不支持POSIX接口方式。准确地讲,GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
FastDFS简介

1.2.结构组成(Client、Tracker server和Storage server)

在这里插入图片描述

Tracker server
Tracker server类似于GFS中的Master或TFS中的Name server,但与他们很不同的一点是,Tracker server的主要作用是负载均衡和调度,而不负责文件索引和映射。Tracker server在内存中记录分组和Storage server的状态等信息,不记录文件索引信息,其占用的内存量也很少。Tracker server可以只有一个,也可以有多个组成Tracker cluster,这样的好处是可以提高对用户的响应能力和增加容灾性,此时各Tracker server相互对等,冗余备份,由应用端来轮流选择进行访问。
Storage server
Storage server完成文件管理的所有功能:存储、同步和提供存取接口,文件和metadata都存储在其上。Storage server类似于GFS中的Chunk server或TFS中的Data server,通常一个Storage server即一台机器,Storage server可以动态新增和删除。FastDFS的存储部分即Storage cluster,分为多个Volume,每个Volume中包括多个Storage server。同一Volume内的各Storage server之间是对等的,存储的内容相同,起冗余容错的作用。文件上传、下载、删除等操作可在Volume内任意一台 Storage server上进行。一个Volume的存储容量取决于该Volume内最小的Storage server的容量,因此Volume内各Storage server的软硬件配置最好是一致的。采用这种分Volume的存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到哪个Volume。当某个Volume的访问压力较大时,可以在该Volume内增加Storage server来扩充服务能力(纵向扩容)。当系统总容量不足时,可以增加Volume来扩充存储容量(横向扩容)。
Storage server直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储,客户端上传的文件和Storage server上的文件一一对应。
关于Storage server的同步,不同Volume的Storage server之间不会相互通信,同Volume内的Storage server之间会相互连接进行文件同步。文件同步采用push方式,接受更新操作的文件称为源文件,其所在server称为源服务器,其它文件称为备份文件,其它server称为目标服务器。当文件更新操作发生时,源服务器向目标服务器发起同步,对所有备份文件进行更新。当有新Storage server加入本Volume时,由已有的一台 Storage server将其上的所有文件同步给该新增服务器。具体的同步实现在Storage server中由专门线程根据binlog进行,binlog记录了文件上传、删除等更新操作。为了最大程度地避免相互影响以及出于系统简洁性考虑,Storage server对同Volume内除自己以外的每台服务器都会启动一个线程来负责文件同步。
这种异步的同步方式带来了一致性问题,当源文件尚未来得及将所有备份文件同步更新时,访问这些备份文件将引发错误。文件的访问主要分为更新和下载两种情况:FastDFS规定更新操作只能对源文件进行,从而避免了同时对不同的备份文件进行更新导致的冲突;文件下载时,Tracker server记录了各Storage server中各文件的同步情况,会向Client提供同步后的文件所在的Storage server。

1.3.FastDFS下载安装教程

分布式文件系统FastDFS安装教程

1.4.目录结构

tracker server目录及文件结构:

${base_path}
|__data
| |__storage_groups.dat:存储分组信息
| |__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:tracker server日志文件
数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。
storage_groups.dat中的字段依次为:
(1) group_name:组名
(2) storage_port:storage server端口号
storage_servers.dat中记录storage server相关信息,字段依次为:
(1) group_name:所属组名
(2) ip_addr:ip地址
(3) status:状态
(4) sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
(5) sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)
(6) stat.total_upload_count:上传文件次数
(7) stat.success_upload_count:成功上传文件次数
(8) stat.total_set_meta_count:更改meta data次数
(9) stat.success_set_meta_count:成功更改meta data次数
(10) stat.total_delete_count:删除文件次数
(11) stat.success_delete_count:成功删除文件次数
(12) stat.total_download_count:下载文件次数
(13) stat.success_download_count:成功下载文件次数
(14) stat.total_get_meta_count:获取meta data次数
(15) stat.success_get_meta_count:成功获取meta data次数
(16) stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
(17) stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)

storage server目录及文件结构:

KaTeX parse error: Expected group after ‘_’ at position 18: …ase_path} |_̲_data | …{ip_addr}_${port}.mark:存放向目标服务器同步的完成情况
| |
| |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F
| |__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF
|__logs
|__storaged.log:storage server日志文件
.data_init_flag文件格式为ini配置文件方式,各个参数如下:
#storage_join_time:本storage server创建时间;
#sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据);
#sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空;
#sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳);
storage_stat.dat文件格式为ini配置文件方式,各个参数如下:
#total_upload_count:上传文件次数
#success_upload_count:成功上传文件次数
#total_set_meta_count:更改meta data次数
#success_set_meta_count:成功更改meta data次数
#total_delete_count:删除文件次数
#success_delete_count:成功删除文件次数
#total_download_count:下载文件次数
#success_download_count:成功下载文件次数
#total_get_meta_count:获取meta data次数
#success_get_meta_count:成功获取meta data次数
#last_source_update:最近一次源头更新时间(更新操作来自客户端)
#last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)
binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\n)分隔,字段之间以西文空格分隔。字段依次为:
(1)timestamp:更新发生时间(Unix时间戳)
(2)op_type:操作类型,一个字符
(3)filename:操作(更新)的文件名,包括相对路径,如:5A/3D/FE_93_SJZ7pAAAO_BXYD.S
KaTeX parse error: Expected group after ‘_’ at position 10: {ip_addr}_̲{port}.mark:ip_addr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:
#binlog_index:已处理(同步)到的binlog索引号
#binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)
#need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步
#sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成
#until_timestamp:同步已有数据截至时间点(UNIX时间戳)
#scan_row_count:已扫描的binlog记录
#sync_row_count:已同步的binlog记录数
数据文件名由系统自动生成,包括三部分:当前时间(Unix时间戳)、文件大小(字节数)和随机数。文件名长度为16字节。文件按照PJW Hash算法hash到65536(256*256,默认配置下)个目录中分散存储。

二、FastDFS文件上传下载

2.1.上传下载流程

1.上传流程:
在这里插入图片描述

1.Client通过Tracker server查找可用的Storage server。
2.Tracker server向Client返回一台可用的Storage server的IP地址和端口号。
3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。
4.上传完成,Storage server返回Client一个文件ID,文件上传结束。

2.下载流程:
在这里插入图片描述

1.Client通过Tracker server查找要下载文件所在的的Storage server。
2.Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。
3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。
4.下载文件成功。

2.2.上传下载实现

2.2.1.配置依赖:因为我们使用的maven来管理工程,所以,我们需要去配pom文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    
    <modelVersion>4.0.0</modelVersion>     
    <groupId>com.leech</groupId>    
    <artifactId>fastdfs-demo</artifactId>    
    <version>0.0.1-SNAPSHOT</version>    
    <packaging>jar</packaging>     
    <name>fastdfs-demo</name>    
    <url>http://maven.apache.org</url>     
    <properties>      
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>    
    </properties>     
      
    <dependencies>      
        <dependency>        
            <groupId>junit</groupId>        
            <artifactId>junit</artifactId>        
            <version>4.11</version>        
            <scope>test</scope>      
        </dependency>           
        <dependency>        
            <groupId>org.csource</groupId>        
            <artifactId>fastdfs-client-java</artifactId>        
            <version>1.25</version>      
        </dependency>           
        <dependency>          
            <groupId>commons-io</groupId>          
            <artifactId>commons-io</artifactId>          
            <version>2.4</version>      
            </dependency>         
        </dependencies>  
    </project>  

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
2.2.2.新建fdfs_client.conf文件,在我们的itoo中,我们建立在(src/main/resources底下)

connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 80
#没什么用
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
tracker_server = 192.168.17.112:22122
#tracker_server = 192.168.0.119:22122

2.2.3.实现文件上传
   public void save(HttpServletRequest request,HttpServletResponse response){          
    String videoName=request.getParameter("videoName");  
    String videoType=request.getParameter("videoType");  
    String videoDesc=request.getParameter("videoDesc");  
    String videoPath=request.getParameter("videoPath");  
    String picturePath=request.getParameter("picturePath");  
  
    SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
    Date uploadTime=null;  
    try {  
        uploadTime = formatter.parse(formatter.format(new Date()));  
    } catch (ParseException e) {  
        // TODO Auto-generated catch block 
        e.printStackTrace();  
    }  
      
    JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();  
      
    String dataBaseName = "itoo\_video";  
  
    Video video=new Video();  
    video.setUserName("why");  
    video.setUserID("why");       
    video.setVideoName(videoName);  
    video.setVideoPath(videoPath);  
    video.setVideoType(videoType);  
    video.setVideoDesc(videoDesc);    
    video.setDataBaseName(dataBaseName);  
    video.setPicturePath(picturePath);  
    video.setUploadTime(uploadTime);  
      
    uploadFileService.save(video);        
      
       jackJsonUtil.beanToJson(response,video);  
      
}  
  
/\* 
 \* 上传文件 
 \*/  
@RequestMapping(value={"/upload"})  
@ResponseBody  
public void upload( MultipartFile file, HttpServletRequest request,HttpServletResponse response){         
      
    String ext_Name = file.getOriginalFilename().split("\\.")[1];  
    String videoName=file.getOriginalFilename().split("\\.")[0];  
      
       byte[] bytes = null;  
    try {  
        bytes = file.getBytes();  
    } catch (IOException e) {  
        e.printStackTrace();  
    }  
    String videoPath=uploadFile(bytes,ext_Name);  
      
    JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();  
      
    Video video=new Video();  
    video.setVideoPath(videoPath);  
    video.setVideoName(videoName);        
      
    jackJsonUtil.beanToJson(response,video);  
}   
  
public String uploadFile(byte[] byteFile, String ext_file) {  
    // 拼接服务区的文件路径 
    StringBuffer sbPath = new StringBuffer();  
    sbPath.append("http://192.168.22.252");  
    try {  
        // 初始化文件资源 
        ClientGlobal  
                .init("C:\\Users\\alsr\\Desktop\\ITOO-5.0\\itoo-video-Test\\dmsd-itoo-video-parent\\dmsd-itoo-video-web\\src\\main\\resources\\fdfs\_client.conf");  
  
        // 链接FastDFS服务器,创建tracker和Stroage 
        TrackerClient trackerClient = new TrackerClient();  
        TrackerServer trackerServer = trackerClient.getConnection();  
        StorageServer storageServer = null;  
        StorageClient storageClient = new StorageClient(trackerServer,  
                storageServer);  
        //利用字节流上传文件 
        String[] strings = storageClient.upload\_file(byteFile, ext_file, null);  
  
        for (String string : strings) {  
            sbPath.append("/" + string);  
            System.out.println(string);  
        }  
        // 全路径 
        System.out.println(sbPath);  
    } catch (IOException | MyException e) {  
        e.printStackTrace();  
    }  
    return sbPath.toString();  
}  

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94

只要我们能正常接收到一个json类型的字符串(url地址),就证明我们已经上传成功了,如果不信,可以直接用浏览器去验证一下,看看能不能得到文件展示。

2.2.4.FastDFS实现文件下载
public void testDownload() {          
        try {               
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();              
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer, storageServer);               
            byte[] b = storageClient.download\_file("group1", "M00/00/00/wKgRcFV\_08OAK\_KCAAAA5fm\_sy874.conf");               
            System.out.println(b);               
            IOUtils.write(b, new FileOutputStream("D:/"+UUID.randomUUID().toString()+".conf"));          
            }   
        catch (Exception e) {               
            e.printStackTrace();           
        }       
    }         

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
2.2.5.FastDFS获取将上传文件信息
public void testGetFileInfo(){           
        try {               
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();               
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer, storageServer);               
            FileInfo fi = storageClient.get\_file\_info("group1", "M00/00/00/wKgRcFV\_08OAK\_KCAAAA5fm\_sy874.conf");               
            System.out.println(fi.getSourceIpAddr());             System.out.println(fi.getFileSize());               
            System.out.println(fi.getCreateTimestamp());             System.out.println(fi.getCrc32());           
            }     
        catch (Exception e) {               
            e.printStackTrace();           
            }       
        }         

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
2.2.6.FastDFS获取文件名称
public void testGetFileMate(){           
        try {              
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();               
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer,                       
            storageServer);               
            NameValuePair nvps [] = storageClient.get\_metadata("group1","M00/00/00/wKgRcFV\_08OAK\_KCAAAA5fm\_sy874.conf");               
            for(NameValuePair nvp : nvps){                   
                System.out.println(nvp.getName() + ":" + nvp.getValue());              
                }           
            } catch (Exception e) {               
            	e.printStackTrace();           
            }       
    }    

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
2.2.7.FastDFS实现删除文件
public void testDelete(){           
try {               
    ClientGlobal.init(conf_filename);               
    TrackerClient tracker = new TrackerClient();               
    TrackerServer trackerServer = tracker.getConnection();               
    StorageServer storageServer = null;               
    StorageClient storageClient = new StorageClient(trackerServer,storageServer);               
    int i = storageClient.delete\_file("group1","M00/00/00/wKgRcFV\_08OAK\_KCAAAA5fm\_sy874.conf");               
    System.out.println( i==0 ? "删除成功" : "删除失败:"+i);           
    } catch (Exception e) {               
    	e.printStackTrace();           
    }       
}  

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
2.2.8.FastDFS查询文件
//查询文件
@Test
public void testQueryFile() throws IOException, MyException {
	ClientGlobal.initByProperties("config/fastdfs‐client.properties");
	TrackerClient tracker = new TrackerClient();
	TrackerServer trackerServer = tracker.getConnection();
	StorageServer storageServer = null;
	StorageClient storageClient = new StorageClient(trackerServer,storageServer);
	FileInfo fileInfo = storageClient.query\_file\_info("group1","M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png");
	System.out.println(fileInfo);
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

三、FastDFS+Nginx(单点部署)事例

3.1.服务器规划

跟踪服务器(Tracker Server):ip01
存储服务器(Storage Server):ip02
操作系统:CentOS7
用户:root
数据存储目录:/fastdfs/tracker
安装包:
FastDFS_v5.08.tar.gz:FastDFS源码
libfastcommon-master.zip:(从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库)
fastdfs-nginx-module-master.zip:storage节点http服务nginx模块
nginx-1.10.0.tar.gz:Nginx安装包
ngx_cache_purge-2.3.tar.gz:图片缓存清除Nginx模块(集群环境会用到)

下载完成后,将压缩包解压到/usr/local/src目录下

3.2.所有tracker和storage节点都执行如下操作

1、安装所需的依赖包

yum install make cmake gcc gcc-c++

  • 1
  • 2

2、安装libfatscommon

cd /usr/local/src
#安装unzip 命令: yum install -y unzip zip
unzip libfastcommon-master.zip    
cd libfastcommon-master
#编译、安装
./make.sh
./make.sh install

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

3、安装FastDFS

cd /usr/local/src
tar -xzvf FastDFS\_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

采用默认安装方式,相应的文件与目录如下:
1> 服务脚本:

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

  • 1
  • 2
  • 3

2> 配置文件(示例配置文件):

 ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample

  • 1
  • 2
  • 3
  • 4
  • 5

3> 命令行工具(/usr/bin目录下)

-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

3.3.配置tracker服务器

1> 复制tracker样例配置文件,并重命名

 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

  • 1
  • 2

2> 修改tracker配置文件

vim /etc/fdfs/tracker.conf

  • 1
  • 2

修改的内容如下:

disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口(默认22122)
base_path=/fastdfs/tracker  # 存储日志和数据的根目录

  • 1
  • 2
  • 3
  • 4

其它参数保留默认配置, 具体配置解释可参考官方文档说明:FastDFS配置文件详解

3> 创建base_path指定的目录

mkdir -p /fastdfs/tracker

  • 1
  • 2

4> 防火墙中打开tracker服务器端口( 默认为 22122)

vi /etc/sysconfig/iptables 

  • 1
  • 2

附加:若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则:如:

iptables -P OUTPUT ACCEPT

  • 1
  • 2

然后用命令:service iptables save 进行保存,默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略,也可以直接写在/etc/sysconfig/iptables 里了。

添加如下端口行:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 

  • 1
  • 2

重启防火墙

service iptables restart

  • 1
  • 2

5> 启动tracker服务器

 /etc/init.d/fdfs_trackerd start

  • 1
  • 2

初次启动,会在/fastdfs/tracker目录下生成logs、data两个目录。

drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs

  • 1
  • 2
  • 3

检查FastDFS Tracker Server是否启动成功:

ps -ef | grep fdfs_trackerd

  • 1
  • 2

在这里插入图片描述

3.4.配置storage服务器

1> 复制storage样例配置文件,并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

  • 1
  • 2

2> 编辑配置文件

vi /etc/fdfs/storage.conf

  • 1
  • 2

修改的内容如下:

disabled=false                      # 启用配置文件
port=23000                          # storage服务端口
base_path=/fastdfs/storage          # 数据和日志文件存储根目录
store_path0=/fastdfs/storage        # 第一个存储目录
tracker_server=ip01:22122  # tracker服务器IP和端口
http.server_port=8888               # http访问文件的端口

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

其它参数保留默认配置, 具体配置解释可参考官方文档说明:FastDFS配置文件详解

3> 创建基础数据目录

mkdir -p /fastdfs/storage

  • 1
  • 2

4> 防火墙中打开storage服务器端口( 默认为 23000)

vi /etc/sysconfig/iptables

  • 1
  • 2

#添加如下端口行:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

  • 1
  • 2

重启防火墙

 service iptables restart

  • 1
  • 2

5> 启动storage服务器

/etc/init.d/fdfs_storaged start

  • 1
  • 2

初次启动,会在/fastdfs/storage目录下生成logs、data两个目录。

drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x   2 root root 4096 Mar 31 06:22 logs

  • 1
  • 2
  • 3

检查FastDFS Tracker Server是否启动成功:

[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root      1336     1  3 06:22 ?        00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root      1347   369  0 06:23 pts/0    00:00:00 grep fdfs_storaged

  • 1
  • 2
  • 3
  • 4

3.5.文件上传测试(ip01)

1> 修改Tracker服务器客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf

  • 1
  • 2
  • 3

修改以下配置,其它保持默认

base_path=/fastdfs/tracker
tracker_server=ip01:22122

  • 1
  • 2
  • 3

2> 执行文件上传命令

#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png

  • 1
  • 2
  • 3

返回文件ID号:group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

(能返回以上文件ID,说明文件已经上传成功)

3.6.在所有storage节点安装fastdfs-nginx-module

1>fastdfs-nginx-module作用:

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入 文件复制,有同步延迟的问题。假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还 没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的 错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的 文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)

2> 解压 fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

  • 1
  • 2
  • 3

3> 修改 fastdfs-nginx-module 的 config 配置文件

cd fastdfs-nginx-module/src
vi config
将

CORE_INCS="$CORE\_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 

修改为:

CORE_INCS="$CORE\_INCS /usr/include/fastdfs /usr/include/fastcommon/"

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

4>上传当前的稳定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目录

5>安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre\* zlib openssl openssl-devel

  • 1
  • 2

6>编译安装 Nginx (添加 fastdfs-nginx-module 模块)

cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src <br>make && make install

  • 1
  • 2
  • 3
  • 4
  • 5

比对 nginx下Makefile

default:        build
 
clean:
        rm -rf Makefile objs
 
build:
        $(MAKE) -f objs/Makefile
 
install:
        $(MAKE) -f objs/Makefile install
 
modules:
        $(MAKE) -f objs/Makefile modules
 
upgrade:
        /usr/local/nginx/sbin/nginx -t
 
        kill -USR2 'cat /usr/local/nginx/logs/nginx.pid'
        sleep 1
        test -f /usr/local/nginx/logs/nginx.pid.oldbin
 
        kill -QUIT 'cat /usr/local/nginx/logs/nginx.pid.oldbin'

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

7>复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf

  • 1
  • 2
  • 3

8>修改以下配置:

	 connect_timeout=10
     base_path=/tmp
     tracker_server=ip01:22122
     storage_server_port=23000
     group_name=group1
     url_have_group_name = true
     store_path0=/fastdfs/storage

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

9> 复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd /usr/local/src/FastDFS/conf<br>
cp http.conf mime.types /etc/fdfs/

  • 1
  • 2
  • 3

10> 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

  • 1
  • 2

11>配置 Nginx

user nobody;
worker_processes 1;
events {
    worker_connections 1024;
}
http {

    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    server {
        listen 8888;
        server_name localhost;
        location ~/group([0-9])/M00 {
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如**/group1/M00/00/00/xxx**, 对应的 Nginx 配置为:

     location ~/group([0-9])/M00 {
         ngx_fastdfs_module;
	}

  • 1
  • 2
  • 3
  • 4

C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

12> 防火墙中打开 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

  • 1
  • 2
添加:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
 
#重启防火墙
service iptables restart

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

启动 Nginx

/usr/local/nginx/sbin/nginx<br>(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)

  • 1
  • 2

13>通过浏览器访问测试时上传的文件

http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png 
or 
http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

  • 1
  • 2
  • 3
  • 4

四、FastDFS集群部署(实现高可用(HA))

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Go语言开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以戳这里获取

/M00/00/00/xxx**, 对应的 Nginx 配置为:

     location ~/group([0-9])/M00 {
         ngx_fastdfs_module;
	}

  • 1
  • 2
  • 3
  • 4

C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

12> 防火墙中打开 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

  • 1
  • 2
添加:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
 
#重启防火墙
service iptables restart

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

启动 Nginx

/usr/local/nginx/sbin/nginx<br>(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)

  • 1
  • 2

13>通过浏览器访问测试时上传的文件

http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png 
or 
http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

  • 1
  • 2
  • 3
  • 4

四、FastDFS集群部署(实现高可用(HA))

[外链图片转存中…(img-sTEHwBvZ-1715544689788)]
[外链图片转存中…(img-Kr46rLmX-1715544689788)]
[外链图片转存中…(img-chTM4czr-1715544689789)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Go语言开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以戳这里获取

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/724562
推荐阅读
相关标签
  

闽ICP备14008679号