虚拟机中安装Nginx及FastDFS模块以及解决文件上传太大问题_fastfds不限制上传文件大小

一.配置nginx
1. 1添加用户
useradd leyou
会自动产生 /home/leyou 文件夹
利用xftp上传所需压缩包

1.2解压nginx
tar xvf nginx-1.10.0.tar.gz

1.2.0 安装依赖
FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想要从头学习，可以按下面方式安装：
1.2.1 安装GCC依赖
GCC用来对C语言代码进行编译运行，使用yum命令安装：
yum -y install gcc
1.2.2 安装unzip工具
unzip工具可以帮我们对压缩包进行解压
yum install -y unzip zip
1.2.3 安装libevent
yum -y install libevent
1.2.4 安装Nginx所需依赖
yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel
1.3开始安装nginx
然后进入文件夹 执行下一条命令 指定安装的目录
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx
安装及编译nginx
make && make install
1.3.1启动 nginx
检测nginx
ps -ef | grep nginx

1.3.2关闭防火墙
service iptables stop

1.3.3配置安装目录opt/nginx/conf中nginx.conf配置文件

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;
    #gzip  on;
	server {
        listen       80;
        server_name  manage.leyou.com;

        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        location / {
			proxy_pass http://192.168.66.1:9001;
			proxy_connect_timeout 600;
			proxy_read_timeout 600;
        }
    }
	server {
        listen       80;
        server_name  api.leyou.com;

        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        location / {
			proxy_pass http://192.168.66.1:10010;
			proxy_connect_timeout 600;
			proxy_read_timeout 600;
        }
    }
    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

1.3.4重新加载nginx
nginx -s reload

二、测试上传 注意参数名字
测试工具

web控制层

2.1注意网关配置文件 prefix

测试

2.1.1绕过网关
图片上传是文件的传输，如果也经过Zuul网关的代理，文件就会经过多次网路传输，造成不必要的网络负担。在高并发时，可能导致网络阻塞，Zuul网关不可用。这样我们的整个系统就瘫痪了。
所以，我们上传文件的请求就不经过网关来处理了。
在api.leyou.com的server中加入以下配置

location /api/upload {
                rewrite "^/(.*)" /zuul/$1;
        }
1
2
3

2.2FDFS上传下载流程图
上传

下载

1.2.5 安装libfastcommon-master 接1.2安装依赖
这个没有yum包，只能通过编译安装：
• 解压刚刚上传的libfastcommon-master.zip

unzip libfastcommon-master.zip
cd libfastcommon-master
1
2

• 编译并且安装

	./make.sh && ./makesh install
1

2.3安装FastDFS
解压

tar -xvf FastDFS_v5.08.tar.gz
1

cd FastDFS
1

编译且安装

./make.sh &&./make.sh install
1

证明安装成功

• fdfs_trackerd 是tracker启动脚本
• fdfs_storaged 是storage启动脚本

打开/etc/fdfs

• tarcker.conf.sample 是tracker的配置文件模板
• storage.conf.sample 是storage的配置文件模板
• client.conf.sample 是客户端的配置文件模板
配置tracker
修改文件名字，以及配置路径 启动服务
打开tracker.conf，修改base_path配置：
base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录

测试是否成功 以及配置tracker 开机启动

配置storage

配置路径

修改文件上传路径

创建目录 开启服务 检测服务 配置开机启动

客户端测试
配置文件client.conf

往tmp文件夹中上传0.jpg图片文件

在etc/fdfs目录测试

/usr/bin/fdfs_upload_file client.conf /tmp/0.jpg
1

返回结果测试成功
group1/M00/00/00/wKhCQl1Q-uqAasE0AAIbvpV7Z84847.jpg

2.4 安装Nginx及FastDFS模块

tar -xvf fastdfs-nginx-module_v1.16.tar.gz
1

配置config文件

进入配置目录

cd /home/leyou/fdfs/fastdfs-nginx-module/src/
1

修改配置

vim config

执行下面命令（将配置中的/usr/local改为/usr）：

:%s+/usr/local/+/usr/+g
1

配置mod_fastdfs.conf

将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录：

 cp mod_fastdfs.conf /etc/fdfs/
1

编辑该文件

 vim /etc/fdfs/mod_fastdfs.cof
1

修改一下配置：

connect_timeout=10                  		# 客户端访问文件连接超时时长（单位：秒）
tracker_server=192.168.56.101:22122  	# tracker服务IP和端口
url_have_group_name=true            		# 访问链接前缀加上组名
store_path0=/leyou/fdfs/storage        		# 文件存储路径
1
2
3
4

复制 FastDFS的部分配置文件到/etc/fdfs目录

cd /home/leyou/fdfs/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/
1
2

打开home/leyou/fdfs/nginx目录

因为源码包放错位置了需要更改

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src
1

重新编译nginx
因为已经安装过nginx只需要 编译

 make
1

会产生objs文件夹 进入

再次修改opt/nginx下的nginx配置文件
新加server

server {
        listen       80;
        server_name  image.leyou.com;

    	# 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

重新加载

nginx -s reload
1

http://image.leyou.com/group1/M00/00/00/wKhCQl1Q-uqAasE0AAIbvpV7Z84847.jpg

设置nginx开机启动
创建一个开机启动的脚本：

vim /etc/init.d/nginx
1

添加以下内容：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132

修改文件权限，并加入服务列表

修改权限

chmod 777 /etc/init.d/nginx 
1

添加到服务列表

chkconfig --add /etc/init.d/nginx
1

设置开机启动

chkconfig nginx on
1

设置文件上传太大问题

上传文件传输最大1MB报错解决方案
Nginx中配置如下，限制文件上传最大为10MB

项目使用的是Spring Boot + Spring Cloud，上传附件报超出自带tomacat限制大小（默认1M）

外置tomcat需要这样配置 不限制文件上传的大小

Springboot内置tomcat的解决方案
在springboot2.0.3版本中，修改为

spring.servlet.multipart.max-file-size=5Mb
spring.servlet.multipart.max-request-size=50Mb
1
2

application.yml文件的话这样配置

然后在启动类中加入如下配置:
在启动类中加入: 注解

@configuration
1

然后加入:

/**
 * 配置上传文件大小的配置
 * @return
 */
@Bean
public MultipartConfigElement multipartConfigElement() {
   MultipartConfigFactory factory = new MultipartConfigFactory();
   //  单个数据大小
   factory.setMaxFileSize("102400KB");
   /// 总上传数据大小
   factory.setMaxRequestSize("102400KB");
   return factory.createMultipartConfig();
}
1
2
3
4
5
6
7
8
9
10
11
12
13

如果配置了网关需要相同的配置启动类，而且网关的启动类中的bean,管理上传文件的大小（好好理解哦）

三、配置服务的aplication文件

fdfs:
  so-timeout: 2500
  connect-timeout: 600
  thumb-image: # 缩略图
    width: 60
    height: 60
  tracker-list: # tracker地址
    - 192.168.66.66:22122
1
2
3
4
5
6
7
8

3.1配置nginx的热更新
页面中不会产出很多的错误请求，页面自动更新

配置图片的静态路径 如果不是group的自动找images

测试成功