Nginx+Tomcat 负载均衡及动静分离集群_nginx tomcat

一、正向代理与反向代理

1. 正向代理

正向代理是一种网络代理服务器，它位于客户端和目标服务器之间，充当客户端与目标服务器之间的中介。当客户端发送请求时，请求先经过正向代理服务器，然后由代理服务器向目标服务器发送请求，并将目标服务器的响应返回给客户端。

正向代理的工作流程：

（1）客户端配置代理：客户端需要手动配置代理服务器的IP地址和端口，以告知操作系统或应用程序所有请求都通过代理服务器发送。

（2）客户端发送请求：当客户端发起HTTP请求时，请求将被发送到代理服务器而不是目标服务器。

（3）代理服务器接收请求：代理服务器接收到客户端的请求后，会记录请求的信息，例如请求时间、来源IP等。

（4）代理服务器转发请求：代理服务器将收到的请求再次发送给目标服务器，作为代表客户端与目标服务器通信的媒介。

（5）目标服务器响应请求：目标服务器接收到代理服务器发送的请求后，处理请求并生成响应结果。

（6）代理服务器接收响应：代理服务器接收到目标服务器的响应后，记录响应信息，并将响应返回给客户端。

（7）客户端接收响应：客户端最终接收到来自代理服务器的响应结果。

正向代理的作用有：

（1）隐藏真实IP地址：代理服务器充当了客户端与目标服务器之间的中间人，目标服务器只会看到代理服务器的IP地址，而无法直接获取客户端的真实IP地址。

（2）绕过访问限制：如果某些互联网资源对特定地区或IP地址有访问限制，客户端可以使用正向代理，通过代理服务器所在地区或IP地址来访问被限制的内容。

（3）缓存和加速：代理服务器可以缓存已请求的资源，在其他客户端请求同样资源时直接从缓存中返回，减少了网络传输时间，提高了访问速度和性能。

（4）安全性增强：正向代理可以作为防火墙的一部分，过滤掉恶意请求、屏蔽广告或恶意软件，并提供额外的安全措施来保护客户端的网络安全。

2. 反向代理

反向代理是一种网络代理模式，它与正向代理相反，客户端并不知道它正在与代理服务器通信，而是将请求发送到反向代理服务器，然后由反向代理服务器将请求转发给后端的多个服务器进行处理。

反向代理的网络流程：

（1）客户端发起请求：客户端向反向代理服务器发送请求。客户端可以是计算机、移动设备或其他网络设备。

（2）请求发送至反向代理服务器：客户端的请求经过配置了反向代理服务器信息的网络设置，被发送至反向代理服务器。

（3）反向代理服务器接收请求：反向代理服务器接收到来自客户端的请求。

（4）请求分发：反向代理服务器根据负载均衡算法将请求分发给多个后端服务器之一。负载均衡算法可以根据服务器的负载情况、响应时间等因素进行选择。

（5）后端服务器处理请求：被选中的后端服务器接收到反向代理服务器转发的请求，并进行相应的处理。

（6）后端服务器生成响应：后端服务器根据请求的内容进行处理，并生成相应的响应结果。

（7）响应返回至反向代理服务器：后端服务器将生成的响应结果发送回反向代理服务器。

（8）反向代理服务器接收响应：反向代理服务器接收到来自后端服务器的响应结果。

（9）响应返回给客户端：反向代理服务器将接收到的响应结果返回给客户端。

（10）客户端接收响应：最终，客户端接收到来自反向代理服务器的响应结果，可进一步处理或显示在用户界面上。

反向代理主要作用：

（1）负载均衡：反向代理服务器可以将请求分发给多个后端服务器，从而实现负载均衡。通过合理地分配请求负载，可以提高系统的性能和可扩展性。

（2）缓存和加速：反向代理服务器可以缓存静态内容，如图片、CSS文件等，减轻后端服务器的负担并加快请求响应速度。通过将常用的资源保存在缓存中，可以提供更快的访问速度和更好的用户体验。

（3）安全性和保护：反向代理可以隐藏后端服务器的真实IP地址，提供额外的安全层。它可以过滤和阻止恶意请求、DDoS攻击等，并在一定程度上保护后端服务器的安全。

（4）SSL加密：反向代理服务器可以充当SSL终端，通过与客户端进行加密通信，实现安全的数据传输。这样可以减轻后端服务器的计算负担，提高整体系统的效率。

（5）网站发布和管理：反向代理可以用作中心化的入口，统一管理多个后端服务器上的网站。它可以根据请求的域名或路径将请求路由到相应的后端服务器，简化网站管理和部署的复杂性。

总而言之，反向代理在网络架构中起到了关键的作用。它可以改善系统性能、保护服务器安全、提供缓存和加速功能，并简化网站管理。通过使用反向代理，可以提高系统的稳定性、可伸缩性和安全性。

二、Nginx 负载均衡与反向代理

三种负载均衡

软件：Nginx

硬件：F5

云端：SLB（阿里云）

​

1. Nginx 配置反向代理的主要参数

（1）upstream 服务池名 {}

配置后端服务器池，以提供响应数据

（2）proxy_pass http://服务池名

配置将访问请求转发给后端服务器池的服务处理

2. 动静分离原理

服务端接受来自客户端的请求中，既有动态资源也有动态资源，静态资源由 Nginx 提供服务，动态资源 Nginx 转发至后端

3. Nginx 静态处理优势

Nginx 处理静态页面的效率远高于 Tomcat 的处理能力

若 Tomcat 的请求量为 1000 次，则 Nginx 的请求量为 6000 次

Tomcat 每秒的吞吐量为0.6M，Nginx 的每秒吞吐量为3.6M

Nginx 处理静态资源的能力是 Tomcat 处理的6倍

三、Nginx 负载均衡与反向代理实例

实例架构

实例环境

1. 部署 Nginx 负载均衡

# 搭建在线阿里源
wget -O /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# 下载 Nginx 源码包
wget -O /opt/nginx-1.22.0.tar.gz https://nginx.org/download/nginx-1.22.0.tar.gz

# 解压 Nginx 源码包
cd /opt
tar -xf nginx-1.22.0.tar.gz 

# 安装编译环境
yum -y install \
pcre-devel \
zlib-devel \
gcc \
gcc-c++ \
make \
openssl \
openssl-devel

# 创建 Nginx 服务管理用户
useradd -M -s /sbin/nologin nginx

# 指定安装位置及启用模块
cd nginx-1.22.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-http_flv_module \
--with-http_ssl_module \
--with-stream

# 编译与编译安装
make -j 4 && make install

# 将 Nginx 命令加入系统
ln -s /usr/local/nginx/sbin/nginx  /usr/local/bin/

# 配置系统管理
echo "
[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecStop=/bin/kill -s QUIT $MAINPID
ExecReload=/bin/kill -s HUP $MAINPID
PrivateTmp=True

[lnstall]
WantedBy=multi-user.target
" > /lib/systemd/system/nginx.service

chmod 754 /lib/systemd/system/nginx.service

# 刷新 systemd
systemctl daemon-reload

# 重启 Nginx 服务
systemctl restart nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

2. 部署 Tomcat 应用服务器

（1）TomcatA、TomcatB 应用服务器安装 jdk

# 安装 jdk
cd /opt
rpm -ivh jdk-8u371-linux-x64.rpm

# 配置 jdk 环境变量
echo "
export JAVA_HOME=/usr/java/jdk1.8.0-x64
export CLASSPATH=.$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
" > /etc/profile.d/java.sh

# 启用 jdk 的环境变量
source /etc/profile.d/java.sh
1
2
3
4
5
6
7
8
9
10
11
12
13

（2）配置 TomcatA 应用服务器

# 解压 tomcat 包
tar -xf /opt/apache-tomcat-8.5.16.tar.gz

# 切换 tomcat 位置
mv /opt/apache-tomcat-8.5.16 /usr/local/tomcat

# 开启 tomcat 
/usr/local/tomcat/bin/startup.sh 
1
2
3
4
5
6
7
8

（3）配置 TomcatB 应用服务器

# 解压 tomcat 包
tar zxvf /opt/apache-tomcat-9.0.16.tar.gz

# 创建 tomcat 安装目录
mkdir /usr/local/tomcat

# 创建两个实例
mv apache-tomcat-9.0.16 /usr/local/tomcat/tomcat1
cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2

# 创建 tomcat 环境变量
echo "
# tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1

# tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2
" > /etc/profile.d/tomcat.sh

# 启用 tomcat 环境变量
source /etc/profile.d/tomcat.sh


# 设置端口
# tomcat1的server.xml 默认即可，不需要修改
vim /usr/local/tomcat/tomcat1/conf/server.xml
# 第22、69、116行
<Server port="8005" shutdown="SHUTDOWN">
<Connector port="8080" protocol="HTTP/1.1"
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

# tomcat的server.xml 要保证端口不冲突
vim /usr/local/tomcat/tomcat2/conf/server.xml
# 第22、69、116行
<Server port="8006" shutdown="SHUTDOWN">
<Connector port="8081" protocol="HTTP/1.1"
<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />


# 向实例启动和关闭文件中添加环境变量，修改各 tomcat 实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

vim /usr/local/tomcat/tomcat1/bin/startup.sh 
# 末行添加
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1

vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
# 末行添加
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1

vim /usr/local/tomcat/tomcat2/bin/startup.sh 
# 末行添加
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2

vim /usr/local/tomcat/tomcat2/bin/shutdown.sh
# 末行添加
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2


# 重启各个实例，重启先关闭，再重启
# 关闭
/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 

# 开启
/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78

3. 配置动静网页

（1）tomcatA server 配置

# 创建动态页面
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP tomcata page</title>
</head>
<body>
<% out.println("动态页面 1,http://www.tomcata.com");%>
</body>
</html>
:wq!


# 配置 tomcat 主配置文件
vim /usr/local/tomcat/conf/server.xml
      <Host name="tomcata"  appBase="webapps"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">

        <Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
        </Context>

# 将文件中所有的 localhost 换成 tomcata
# 进入命令模式
:% s/localhost/tomcata/g

:wq!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

（2）tomcatB server 配置

tomcat1 配置

# 创建 tomcat1 动态页面
mkdir /usr/local/tomcat/tomcat1/webapps/test
vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP tomcat1 page</title> 
</head>
<body>
<% out.println("动态页面 2,http://www.tomcat1.com");%>
</body>
</html>

:wq!

# 配置 tomcat1 主配置文件
vim /usr/local/tomcat/tomcat1/conf/server.xml
      <Host name="tomcatb"  appBase="webapps"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">
        <Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true">
        </Context>
        
# 将文件中所有的 localhost 换成 tomcatb
# 进入命令模式
:% s/localhost/tomcatb/g

:wq!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

tomcat2 配置

# 创建 tomcat2 动态页面
mkdir /usr/local/tomcat/tomcat2/webapps/test
vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP tomcat2 page</title> 
</head>
<body>
<% out.println("动态页面 3,http://www.tomcat2.com");%>
</body>
</html>

:wq!

# 配置 tomcat2 主配置文件
vim /usr/local/tomcat/tomcat2/conf/server.xml
      <Host name="tomcatb"  appBase="webapps"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">
        <Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true">
        </Context>

# 将文件中所有的 localhost 换成 tomcatb
# 进入命令模式
:% s/localhost/tomcatb/g

:wq!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

（3）配置 Nginx server 静态页面

# 创建 nginx 静态页面
echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
1
2

4. 配置 Nginx 负载均衡及反向代理

vim /usr/local/nginx/conf/nginx.conf

    # 配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
    upstream tomcat_server {
        server 192.168.23.10:8080 weight=1;
        server 192.168.23.15:8080 weight=1;
        server 192.168.23.15:8081 weight=1;
    }



    server {
        listen       80;
        server_name  www.webnginx.com;

        charset utf-8;

        #access_log  logs/host.access.log  main;

        # 配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理

        location ~ .*\.jsp$ {
                proxy_pass http://tomcat_server;

                # 设置后端的Web服务器可以获取远程客户端的真实IP
                # 设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代>理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来在反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
                proxy_set_header HOST $host;

                # 把$remote_addr赋值给X-Real-IP，来获取源IP
                proxy_set_header X-Real-IP $remote_addr;

                # 在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        }
        
:wq!

# 重启 nginx 服务
systemctl restart nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

5. 测试

（1）测试静态页面

浏览器访问：http://www.webnginx.com
1

（2）测试动态页面

浏览器访问（不断刷新）：http://www.webnginx.com/index.jsp
1

四、分流策略

Nginx 负载均衡模式：
●rr 负载均衡模式：
每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。

权重

●least_conn 最少连接：
优先将客户端请求调度到当前连接最少的服务器。

●ip_hash 负载均衡模式：
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash。

●fair（第三方）负载均衡模式：
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

●url_hash（第三方）负载均衡模式：
基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。

五、扩展

Nginx 四层代理配置：
./configure --with-stream

和http同等级：所以一般只在http上面一段设置，

stream {

 upstream appserver {
	server 192.168.80.100:8080 weight=1;
	server 192.168.80.101:8080 weight=1;
	server 192.168.80.101:8081 weight=1;
 }
 server {
    listen 8080;
    proxy_pass appserver;
 }

}

http {
......

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17