devbox
空白诗007
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

FastDFS文件上传服务器

作者：空白诗007 | 2024-07-16 14:42:50

赞

踩

FastDFS文件上传服务器

4.FastDFS

4.1.什么是FastDFS

FastDFS是由淘宝的余庆先生所开发的一个开源的分布式文件系统。用纯C语言开发，功能丰富：

  • 文件存储
  • 文件同步
  • 文件访问（上传、下载）
  • 存取负载均衡
  • 在线扩容

适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

4.2.FastDFS的架构

4.2.1.架构图

先上图：

在这里插入图片描述

FastDFS两个主要的角色：Tracker Server 和 Storage Server 。

  • Tracker：跟踪服务器，管理集群，tracker也可以实现集群。每个tracker节点地位平等。收集Storage集群的状态。可以实现负载均衡的作用。

  • Storage：存储服务器，实际保存文件，分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

  • Client:客户端

  • Group: 组或者卷，同组的节点提供备份，不同的组用于扩容

4.2.2.上传和下载流程

上传

在这里插入图片描述

  1. Client通过Tracker server查找可用的Storage server。
  2. Tracker server向Client返回一台可用的Storage server的IP地址和端口号。
  3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。
  4. 上传完成，Storage server返回Client一个文件ID（卷、目录），文件上传结束。

下载
在这里插入图片描述

  1. Client通过Tracker server查找要下载文件所在的的Storage server。
  2. Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。
  3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。
  4. 下载文件成功。

4.4.java客户端

余庆先生提供了一个Java客户端，但是作为一个C程序员，写的java代码可想而知。而且已经很久不维护了。

这里推荐一个开源的FastDFS客户端，支持SpringBoot。

配置使用极为简单，支持连接池，支持自动生成缩略图，狂拽酷炫吊炸天啊，有木有。

地址：tobato/FastDFS_client

在这里插入图片描述

接下来，我们就用FastDFS改造power_shop_item工程。

4.4.1.引入依赖

在父工程中，添加管理依赖，版本为：

<fastDFS-client-version>1.26.2</fastDFS-client-version>

<!--fastdfs-->
<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>${fastDFS-client-version}</version>
</dependency>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

因此，这里我们直接在power_shop_item工程的pom.xml中引入坐标即可：

<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
</dependency>

  • 1
  • 2
  • 3
  • 4

4.4.2.引入配置类

纯java配置：

@Configuration
//只需要一行注解 @Import(FdfsClientConfig.class)就可以拥有带有连接池的FastDFS Java客户端了
@Import(FdfsClientConfig.class)
public class FastClientImporter {
    
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

4.4.3.编写FastDFS属性

在application.yml配置文件中追加如下内容：

fdfs:
  so-timeout: 1501 # 超时时间
  connect-timeout: 601 # 连接超时时间
  thumb-image: # 缩略图
    width: 60
    height: 60
  tracker-list: # tracker地址：你的虚拟机服务器地址+端口（默认是22122）
    - 192.168.204.131:22122

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

4.4.4.配置hosts

将来通过域名：image.powershop.com这个域名访问fastDFS服务器上的图片资源。所以，需要代理到虚拟机地址：http://image.powershop.com/group1/M00/00/00/wKjMhV7Du3WATIbZAABIvlHWjnY123.png

  • 配置hosts文件，使image.powershop.com可以访问fastDFS服务器
#测试环境
192.168.204.158 image.powershop.com

  • 1
  • 2

4.4.5.测试

创建测试类：

import com.github.tobato.fastdfs.domain.StorePath;
import com.github.tobato.fastdfs.domain.ThumbImageConfig;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.test.context.junit4.SpringRunner;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;

@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest(classes={PowerShopItemApp.class})
public class FastDFSTest {

    @Autowired
    private FastFileStorageClient storageClient;

    @Autowired
    private ThumbImageConfig thumbImageConfig;

    @Test
    public void testUpload() throws FileNotFoundException {
        // 要上传的文件
        File file = new File("D:/images/1.jpg");
        // 上传并保存图片，参数：1-上传的文件流 2-文件的大小 3-文件的后缀 4-可以不管他
        StorePath storePath = this.storageClient.uploadFile(
                new FileInputStream(file), file.length(), "jpg", null);
        // 带分组的路径
        System.out.println(storePath.getFullPath());
        // 不带分组的路径
        System.out.println(storePath.getPath());
    }

    @Test
    public void testUploadAndCreateThumb() throws FileNotFoundException {
        File file = new File("D:/images/1.jpg");
        // 上传并且生成缩略图
        StorePath storePath = this.storageClient.uploadImageAndCrtThumbImage(
                new FileInputStream(file), file.length(), "png", null);
        // 带分组的路径
        System.out.println(storePath.getFullPath());
        // 不带分组的路径
        System.out.println(storePath.getPath());
        // 获取缩略图路径
        String path = thumbImageConfig.getThumbImagePath(storePath.getFullPath());
        System.out.println(path);
    }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52

结果：

group1：卷名

/M00：store_path0 目录

00/00：两层256个文件夹

group1/M00/00/00/wKg4ZVsWl5eAdLNZAABAhya2V0c424.jpg
M00/00/00/wKg4ZVsWl5eAdLNZAABAhya2V0c424.jpg

  • 1
  • 2
group1/M00/00/00/wKjpgV6XBT2Abi8rAACaMWefTPs531.png
M00/00/00/wKjpgV6XBT2Abi8rAACaMWefTPs531.png
group1/M00/00/00/wKjpgV6XBT2Abi8rAACaMWefTPs531_60x60.png

  • 1
  • 2
  • 3

访问第二组第一个路径：
在这里插入图片描述

访问最后一个路径（缩略图路径）：
在这里插入图片描述

4.4.6.改造上传逻辑

import com.github.tobato.fastdfs.domain.StorePath;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.bjpowershop.utils.Result;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.Arrays;
import java.util.List;

/**
 * 图片上传
 */
@RestController
@RequestMapping("/file")
public class FileUploadController {
    @Autowired
    private FastFileStorageClient storageClient;

    private static final List<String> CONTENT_TYPES = 
        						Arrays.asList("image/jpeg", "image/gif");

    /**
     * 图片上传
     */
    @RequestMapping("/upload")
    public Result fileUpload(MultipartFile file) {

        try {
            String originalFilename = file.getOriginalFilename();
            // 校验文件的类型
            String contentType = file.getContentType();
            if (!CONTENT_TYPES.contains(contentType)){
                // 文件类型不合法，直接返回
                return Result.error("文件类型不合法:"+originalFilename);
            }

            // 校验文件的内容
            BufferedImage bufferedImage = ImageIO.read(file.getInputStream());
            if (bufferedImage == null) {
                return Result.error("文件内容不合法：" + originalFilename);
            }

            // 保存到服务器
            //file.transferTo(new File("D:\\images\\" + originalFilename));
            String ext = StringUtils.substringAfterLast(originalFilename, ".");
            StorePath storePath = this.storageClient.uploadFile(file.getInputStream(), 
                                                           file.getSize(), ext, null);

            // 生成url地址，返回
            return Result.ok("http://image.powershop.com/" + storePath.getFullPath());
        } catch (IOException e) {
            e.printStackTrace();
        }
        return Result.error("服务器内部错误");
    }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63

只需要把原来保存文件的逻辑去掉，然后上传到FastDFS即可。

4.5.测试页面上传

上传成功：

在这里插入图片描述

查询列表显示图片地址：

安装

1.Linux下使用FastDFS!

1.1.单节点FastDFS

整个安装过程非常复杂，很容易出错，建议进行多次备份。

我们这里不打算安装多台虚拟机，因此会把tracker和storage都安装在一起。

1.1.1.安装gcc

GCC用来对C语言代码进行编译运行，使用yum命令安装：

yum -y install gcc

  • 1

1.1.3.安装libfastcommon-master

libfastcommon-master.zip（是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）

#解压刚刚上传的libfastcommon-master.zip
unzip libfastcommon-master.zip

#进入解压完成的目录
cd libfastcommon-master

#编译并且安装：
./make.sh 
./make.sh install

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

1.1.4.安装fastdfs

tar -zxvf FastDFS_v5.08.tar.gz

cd FastDFS

./make.sh 

./make.sh install

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

如果安装成功，会看到/etc/init.d/下看到提供的脚本文件：

ll /etc/init.d/ | grep fdfs 

  • 1

在这里插入图片描述

  • fdfs_trackerd 是tracker启动脚本
  • fdfs_storaged 是storage启动脚本

能够在 /etc/fdfs/ 目录下看到默认的配置文件模板：

ll /etc/fdfs/

  • 1

在这里插入图片描述

  • tarcker.conf.sample 是tracker的配置文件模板
  • storage.conf.sample 是storage的配置文件模板
  • client.conf.sample 是客户端的配置文件模板

1.1.5.配置并启动tracker服务

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

1）首先将模板文件复制

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

  • 1

2）修改复制后的配置文件：

vim /etc/fdfs/tracker.conf 

  • 1

# 修改的内容如下：

base_path=/powershop/tracker                 # 存储日志和数据的根目录

  • 1

3）新建目录：

mkdir -p /powershop/tracker


  • 1
  • 2

注意：关闭防火墙：

chkconfig iptables off


  • 1
  • 2

4）启动和停止

启动tracker服务器: /etc/init.d/fdfs_trackerd start

停止tracker服务器: /etc/init.d/fdfs_trackerd stop

不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop


  • 1
  • 2

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs_trackerd


  • 1
  • 2

设置tracker服务开机启动:

chkconfig fdfs_trackerd on


  • 1
  • 2

1.1.6.配置并启动storage服务

1）首先将模板文件复制

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf


  • 1
  • 2

2）修改复制后的配置文件：

vim /etc/fdfs/storage.conf


  • 1
  • 2

# 修改的内容如下:

base_path=/powershop/storage                 # 日志文件存储根目录 

store_path0=/powershop/storage           # 文件存储目录 

tracker_server=192.168.204.131:22122       #  tracker服务器IP和端口 


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

3）新建目录：

mkdir -p /powershop/storage


  • 1
  • 2

注意关闭防火墙： chkconfig iptables off

4）启动和停止

启动storage服务器：/etc/init.d/fdfs_storaged start

停止storage服务器：/etc/init.d/fdfs_storaged stop

推荐使用：

service fdfs_storaged start  # 启动fdfs_storaged服务，停止用stop


  • 1
  • 2

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs


  • 1
  • 2

设置storage服务开机启动：

chkconfig fdfs_storaged on


  • 1
  • 2

2.使用nginx访问FastDFS

2.1.为什么需要用Nginx访问？

FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。

假设Tracker服务器将文件上传到了192.168.4.125，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.4.126，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.4.126上取文件,就会出现文件无法访问的错误。

而fastdfs-nginx-module可以重定向文件连接到文件上传时的源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误

2.2.安装fastdfs-nginx-module插件

2.2.1.解压

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz


  • 1
  • 2

2.2.2.修改config

1）进入src目录

cd fastdfs-nginx-module/src/


  • 1
  • 2

2）编辑config

vim config


  • 1
  • 2

使用以下底行命令：

:%s+/usr/local/+/usr/+g


  • 1
  • 2

将所有的/usr/local替换为 /usr，这个才是正确的目录:
在这里插入图片描述

2.2.3.配置fastdfs-nginx-module与FastDFS关联配置文件

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改

cp /usr/upload/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf


  • 1
  • 2
  • 3
  • 4

修改以下配置：

connect_timeout=10                       # 客户端访问文件连接超时时长（单位：秒）

tracker_server=192.168.204.131:22122    # tracker服务IP和端口

url_have_group_name=true                # 访问链接前缀加上组名

store_path0=/powershop/storage            # 文件存储路径


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

复制 FastDFS 的部分配置文件到/etc/fdfs 目录，否则不支持nginx

cd /usr/upload/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/


  • 1
  • 2
  • 3

2.3.安装Nginx

2.3.1.如果没有安装过nginx

  • 安装nginx的依赖库
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel


  • 1
  • 2
  • 解压安装包
tar -zxvf nginx-1.10.0.tar.gz


  • 1
  • 2
  • 配置nginx安装包，并指定fastdfs-nginx-model
cd nginx-1.10.0

./configure --prefix=/usr/local/nginx --add-module=/usr/upload/fastdfs-nginx-module/src


  • 1
  • 2
  • 3
  • 4

注意：在执行./configure配置nginx参数的时候，需要将fastdfs-nginx-moudle源码作为模块编译进去。

  • 编译并安装
make && make install


  • 1
  • 2

2.3.2.如果已经安装过nginx

1） 进入nginx目录：

cd /usr/upload/nginx-1.10.0/


  • 1
  • 2

2） 配置FastDFS 模块

./configure --prefix=/usr/local/nginx --add-module=/usr/upload/fastdfs-nginx-module/src


  • 1
  • 2

注意：这次配置时，要添加fastdfs-nginx-moudle模块

3） 编译，注意，这次不要安装（install）

make


  • 1
  • 2

4） 替换nginx二进制文件:

备份：

mv /usr/bin/nginx /usr/bin/nginx-bak


  • 1
  • 2

用新编译的nginx启动文件替代原来的：

cp objs/nginx /usr/bin/


  • 1
  • 2

2.3.3.启动nginx

配置nginx整合fastdfs-module模块

我们需要修改nginx配置文件：

vim  /usr/java/nginx/conf/nginx.conf


  • 1
  • 2

将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

    server {
        listen       80;
        server_name  image.powershop.com;

    	# 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;#获得fastdfs中图片的存在路径  /usr/storage/group/0/atm.jpg
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

启动nginx：

./nginx	# 启动nginx

./nginx -s stop	# 停止nginx

./nginx -s reload	# 重新载入配置文件


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

# 可通过ps -ef | grep nginx查看nginx是否已启动成功

在这里插入图片描述

2.4.Nginx开机启动

2.4.1.编写开机启动文件

  • 添加nginx.service文件
vim /lib/systemd/system/nginx.service


  • 1
  • 2
  • 文件内容如下：
[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

2.4.2.设置开机启动

systemctl daemon-reload        #重新加载服务配置
systemctl enable nginx.service #设置为开机启动
systemctl start nginx.service  #启动服务
systemctl status nginx.service #查看服务状态
systemctl stop nginx.service   #停止服务


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号