- 1什么是网站前端框架？目前常用的网站前端框架都有哪些？_什么是前端框架?常用的前端框架
- 2我的ESP-01S开发历程与经验分享_esp01s
- 3智慧物流之道：数据可视化引领全局监控
- 4计算机常用数理基础知识_计算机相关数学
- 5如何在Github上快速下载代码_github怎么下载代码
- 6SpringCloud-Docker原理解析
- 7Linux学习-62-独立服务和基于xinetd服务的管理方法_bt-tasks (pid 13828) already running
- 8openwrt启用定时器检测断网重连_openwrt检测网络在线
- 9Python常用包之matplotlib的使用_python中如何引用matplotlib
- 10VSCode简单设置PHP开发编辑器-汉化以及其他扩展_vscodesetup中文扩展
FastDFS简单介绍以及环境部署_fastdfs端口
赞
踩
FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用,高性能等指标。
FastDFS一步步搭建存储服务器
FastDFS系统架构图
FastDFS简介
FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。
FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
Tracker Server：跟踪服务器。主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。
Storage Server：存储服务器。主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。
Client：客户端。上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。
"跟踪器和存储节点"都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
FastDFS的存储策略
- 为了支持大容量，存储节点(服务器)采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
- 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后,系统自动将新增服务器切换到线上提供服务。
- 当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
- FastDFS中的文件标识分为两个部分: 卷名和文件名,二者缺一不可！
Tracker：标准服务端口22122、HTTP端口8080Storage：标准服务端口23000、HTTP端口8888
FastDFS的上传过程
FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。
我们知道Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。
当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。文件名的格式如下：
FastDFS的文件同步
写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到tracker上，tracker在选择读storage的时候会以同步进度作为参考。
FastDFS的文件下载
客户端uploadfile成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。
跟upload file一样，在downloadfile时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracker从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。
安装部署
基本环境及机器清单如下:
Client 192.168.1.1
Tracker1 192.168.1.111
tracker2 192.168.1.222
Storage1 192.168.1.10
storage2 192.168.1.20
storage3 192.168.1.30
Storage4 192.168.1.40
firewall-cmd --zone=public --add-port=22122/tcp --permanent
firewall-cmd --zone=public --add-port=23000/tcp --permanent
firewall-cmd --reload
实验步骤
1.全部安装FastDFS
[root@client ~]# scp fastdfs.tar.gz root@192.168.1.111:/root ··· [root@client ~]# yum -y install gcc* automake autoconf zlib zlib-devel openssl openssl-devel pcre pcre-devel [root@client ~]# tar -zxf fastdfs.tar.gz -C /usr/local/src/ [root@client ~]# cd /usr/local/src/libfastcommon/ [root@client libfastcommon]# ./make.sh && ./make.sh install && cd .. [root@client src]# cd fastdfs [root@client fastdfs]# ./make.sh && ./make.sh install && cd .. [root@client src]# cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf [root@client src]# cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf [root@client src]# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf [root@client src]# cp fastdfs/conf/http.conf /etc/fdfs/ [root@client src]# cp fastdfs/conf/mime.types /etc/fdfs/ [root@client src]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ [root@client src]# mkdir -p /home/yuqing/fastdfs [root@client src]# cd 直接全部复制 yum -y install gcc* automake autoconf zlib zlib-devel openssl openssl-devel pcre pcre-devel tar -zxf fastdfs.tar.gz -C /usr/local/src/ cd /usr/local/src/libfastcommon/ ./make.sh && ./make.sh install && cd .. cd fastdfs ./make.sh && ./make.sh install && cd .. cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf cp fastdfs/conf/http.conf /etc/fdfs/ cp fastdfs/conf/mime.types /etc/fdfs/ cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ mkdir -p /home/yuqing/fastdfs cd
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
2.搭建Nginx服务器
Client+存储服务器
tar -zxf nginx-1.12.0.tar.gz -C /usr/src/
cd /usr/src/nginx-1.12.0/
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src && make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/sbin/
nginx -v
cd
- 1
- 2
- 3
- 4
- 5
- 6
3.基本配置
Client配置
[root@client ~]# vim /etc/fdfs/client.conf 10 base_path=/home/yuqing/fastdfs 11 12 # tracker_server can ocur more than once, and tracker_server format is 13 # "host:port", host can be hostname or ip address 14 tracker_server=192.168.2.20:22122 tracker服务器地址 15 tracker_server=192.168.2.30:22122 [root@client ~]# vim /etc/fdfs/mod_fastdfs.conf 10 base_path=/home/yuqing/fastdfs 40 tracker_server=192.168.2.20:22122 41 tracker_server=192.168.2.30:22122 [root@client ~]# vim /usr/local/nginx/conf/nginx.conf upstream fdfs_group1 { server 192.168.1.111:8888 max_fails=3 fail_timeout=20s; server 192.168.1.222:8888 max_fails=3 fail_timeout=20s; } upstream fdfs_group2 { server 192.168.1.111:8888 max_fails=3 fail_timeout=20s; server 192.168.1.222:8888 max_fails=3 fail_timeout=20s; } server { listen 80; server_name localhost; location ~/group1/ { proxy_pass http://fdfs_group1; } location ~/group2/ { proxy_pass http://fdfs_group2; } [root@client ~]# nginx -t
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
Tracker配置
Tr1
[root@tracker1 ~]# vim /etc/fdfs/tracker.conf
4 disabled=false
8 bind_addr=192.168.1.111
11 port=22122
22 base_path=/home/yuqing/fastdfs
- 1
- 2
- 3
- 4
- 5
Tr2
[root@tracker2 ~]# vim /etc/fdfs/tracker.conf
8 bind_addr=192.168.1.222
11 port=22122
22 base_path=/home/yuqing/fastdfs
- 1
- 2
- 3
- 4
Storage配置
S1
[root@storage1 ~]# vim /etc/fdfs/storage.conf 4 disabled=false 配置文件是否不生效，false为生效 11 group_name=group1 15 bind_addr=192.168.1.10 41 base_path=/home/yuqing/fastdfs Storage数据和日志目录地址(根目录必须存在,子目录会自动生成) 110 store_path0=/home/yuqing/fastdfs 119 tracker_server=192.168.1.111:22122 tracker服务器的地址 120 tracker_server=192.168.1.222:22122 285 http.server_port=8888 scp /etc/fdfs/storage.conf root@192.168.1.20:/etc/fdfs/ scp /etc/fdfs/storage.conf root@192.168.1.30:/etc/fdfs/ scp /etc/fdfs/storage.conf root@192.168.1.40:/etc/fdfs/ [root@storage1 ~]# vim /etc/fdfs/mod_fastdfs.conf 10 base_path=/home/yuqing/fastdfs 40 tracker_server=192.168.1.111:22122 41 tracker_server=192.168.1.222:22122 48 group_name=group1 53 url_have_group_name = true 57 store_path_count=1 63 store_path0=/home/yuqing/fastdfs 113 group_count = 2 118 [group1] 119 group_name=group1 120 storage_server_port=23000 121 store_path_count=1 122 store_path0=/home/yuqing/fastdfs 128 [group2] 129 group_name=group2 130 storage_server_port=23000 131 store_path_count=1 132 store_path0=/home/yuqing/fastdfs scp /etc/fdfs/mod_fastdfs.conf root@192.168.1.20:/etc/fdfs/ scp /etc/fdfs/mod_fastdfs.conf root@192.168.1.30:/etc/fdfs/ scp /etc/fdfs/mod_fastdfs.conf root@192.168.1.40:/etc/fdfs/ [root@storage1 ~]# vim /usr/local/nginx/conf/nginx.conf 35 server { 36 listen 8888; 37 server_name localhost; 38 location ~/group[0-9]/M00/ { 39 ngx_fastdfs_module; 40 }
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
fastdfs-nginx-module 模块说明
《FastDFS 通过 Tracker 服务器，将文件放在 Storage 服务器存储，但是同组存储服务器之间需要进行文件复制,有同步延迟的问题》
假设 Tracker 服务器将文件上传到了 192.168.1.1，上传成功后文件ID已经返回给客户端。
此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.1.30，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.1.1 上取文件,就会出现文件无法访问的错误。
而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。
注意：
listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=8888相对应。同时在防火墙中打开该端口。
location 的配置，如果有多个group则配置location ~/group([0-9])/M00 ，没有则不用配group。
scp /usr/local/nginx/conf/nginx.conf root@192.168.1.20:/usr/local/nginx/conf/nginx.conf
scp /usr/local/nginx/conf/nginx.conf root@192.168.1.30:/usr/local/nginx/conf/nginx.conf
scp /usr/local/nginx/conf/nginx.conf root@192.168.1.40:/usr/local/nginx/conf/nginx.conf
- 1
- 2
- 3
S2
[root@storage2 ~]# vim /etc/fdfs/storage.conf
15 bind_addr=192.168.1.20
- 1
- 2
S3
[root@storage3 ~]# vim /etc/fdfs/storage.conf
11 group_name=group2
15 bind_addr=192.168.1.30
[root@storage3 ~]# vim /etc/fdfs/mod_fastdfs.conf
47 group_name=group2
- 1
- 2
- 3
- 4
- 5
- 6
S4
[root@storage4 ~]# vim /etc/fdfs/storage.conf
11 group_name=group2
15 bind_addr=192.168.1.40
[root@storage4 ~]# vim /etc/fdfs/mod_fastdfs.conf
47 group_name=group2
- 1
- 2
- 3
- 4
- 5
- 6
4.启动服务
>C
[root@client ~]# nginx
>T
/etc/init.d/fdfs_trackerd start {必须是绝对路径}
>S
nginx
/etc/init.d/fdfs_storaged start
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
5.验证
[root@storage1 ~]# netstat -anpt | grep fdfs
tcp 0 0 192.168.1.10:23000 0.0.0.0:* LISTEN 64480/fdfs_storaged
tcp 0 0 192.168.1.10:23000 192.168.1.20:36632 ESTABLISHED 64480/fdfs_storaged
tcp 0 0 192.168.1.10:48769 192.168.1.222:22122 ESTABLISHED 64480/fdfs_storaged
tcp 0 0 192.168.1.10:35038 192.168.1.111:22122 ESTABLISHED 64480/fdfs_storaged
tcp 0 0 192.168.1.10:43588 192.168.1.20:23000 ESTABLISHED 64480/fdfs_storaged
[root@storage1 ~]# fdfs_monitor /etc/fdfs/storage.conf {检查<追踪服务器>与<存储服务器>是否在通信}
··· Storage 1:
id = 192.168.1.10
ip_addr = 192.168.1.10 (storage1) ACTIVE
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
Client随意拖拽一个图片 /root/
上传图片
[root@client ~]# fdfs_upload_file /etc/fdfs/client.conf /root/1.jpg
group2/M00/00/00/wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg "这里表示图片存储在哪里"
Storage1-->group1
[root@storage3 ~]# cd /home/yuqing/fastdfs/data/00/00/
[root@storage3 00]# ls
wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg
- 1
- 2
- 3
- 4
- 5
- 6
下载到在当前目录
[root@client ~]# fdfs_download_file /etc/fdfs/client.conf group2/M00/00/00/wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg
#指定目录
[root@client ~]# fdfs_download_file /etc/fdfs/client.conf group2/M00/00/00/wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg /root/2.png
[root@client ~]# ls
1.jpg anaconda-ks.cfg initial-setup-ks.cfg wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg 模板 图片 下载 桌面
2.png fastdfs.tar.gz nginx-1.12.0.tar.gz 公共 视频 文档 音乐
- 1
- 2
- 3
- 4
- 5
- 6
查看
[root@localhost ~]# firefox http://192.168.1.1/group2/M00/00/00/wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg
- 1
删除
[root@client ~]# fdfs_delete_file /etc/fdfs/client.conf group2/M00/00/00/wKgBHmECasyAKuCYAAu80XCb-vQ591.jpg
- 1
天生傲骨怎能服输，蜕变才能让自己强大，涅槃才能让自己重生，逆风才能让自己翻盘。
