30.IO事件模型、nginx、代理、负载_nginx 网络io模型

作者：小桥流水78 | 2024-08-01 08:26:51

踩

nginx 网络io模型

IO事件模型

参考文档

I/O模型：
同步：阻塞型、非阻塞型、复用型
异步：信号驱动型、异步

复用型：依然是阻塞的，可通过内核的复用器监控多路I/O，并且都可以被任何一路I/O唤醒，所以一个端口可以处理多个进程

同步/异步：
	关注消息通知机制；	
	
	同步/异步：
		同步：等待调用的函数返回消息，期间自己为睡眠状态，所以一个进程只能执行一个请求； 
		异步：被调用者通过状态、通知或回调机制通知调用者被调用者的运行状态，调用者没有被阻塞可以继续下一个请求，所以一个进程能通知处理多个请求；

阻塞/非阻塞：
	关注调用者在等待结果返回之前所处的状态； 
	
		阻塞：blocking，调用结果返回之前，调用者被挂起；
		非阻塞：nonblocking，调用结果返回之前，调用者不会被挂起；
		
一次文件IO请求，都会由两阶段组成：
	第一步：等待数据，即数据从磁盘到内核内存； 
	第二步：复制数据，即数据内核内存到进程内存；
	
信号驱动 I/O 模型：
	在信号驱动IO模型中，当用户线程发起一个IO请求操作，会注册一个信号处理的回调函数，然后用户线程会继续执行，当内核数据就绪时，会发送一个SIGIO信号给用户线程，并回调我们注册的信号回调函数，用户线程接收到信号之后，便在信号函数中调用IO读写操作来进行实际的IO请求操作。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

nginx

Nginx的程序架构：

master/worker
	一个master进程：
		负载加载和分析配置文件、管理worker进程、平滑升级（非停机升级）
	一个或多个worker进程
		处理并响应用户请求
	缓存相关的进程：
		cache loader：载入缓存对象
		cache manager：管理缓存对象
		
特性：异步、事件驱动和非阻塞
	并发请求处理：通过epoll/select
	文件IO：高级IO sendfile，异步，mmap
	
nginx模块：高度模块化，但其模块早期不支持DSO机制；近期版本支持动态装载和卸载；
	模块分类：
		核心模块：core module
		标准模块：
			HTTP modules：
				Standard HTTP modules
				Optional HTTP modules
			Mail modules
			Stream modules：
				传输层代理
		3rd party modules
		
nginx的功用：
	静态的web资源服务器；(图片服务器，或js/css/html/txt等静态资源服务器)
	结合FastCGI/uwSGI/SCGI等协议反代动态资源请求；
	http/https协议的反向代理；
	imap4/pop3协议的反向代理；
	tcp/udp协议的请求转发；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

nginx的安装配置：

官方的预制包：
	http://nginx.org/packages/centos/7/x86_64/RPMS/
	Fedora-EPEL:

编译安装：
	~]# yum groupinstall "Development Tools" "Server Platform Development"
	~]# yum install pcre-devel openssl-devel zlib-devel
	~]# useradd -r nginx
	~]#  ./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_v2_module --with-http_dav_module --with-http_stub_status_module --with-threads --with-file-aio
	# make && make install
	
程序环境
	配置文件的组成部分：
		主配置文件：nginx.conf
			include conf.d/*.conf
		fastcgi， uwsgi，scgi等协议相关的配置文件
		mime.types：支持的mime类型
	主程序文件：/usr/sbin/nginx
	Unit File：nginx.service

配置：
	主配置文件的配置指令：
		directive value [value2 ...];
		
		注意：
			(1) 指令必须以分号结尾；
			(2) 支持使用配置变量；
				内建变量：由Nginx模块引入，可直接引用；
				自定义变量：由用户使用set命令定义；
					set variable_name value;
					引用变量：$variable_name
							
					
	主配置文件结构：
		main block：主配置段，也即全局配置段；
			event {
				...
			}：事件驱动相关的配置；
		http {
			...
		}：http/https 协议相关的配置段；
		mail {
			...
		}
		stream {
			...
		}
	
	http协议相关的配置结构
		http {
			...
			...：各server的公共配置
			server {
				...
			}：每个server用于定义一个虚拟主机；
			server {
				...
				listen 
				server_name
				root
				alias
				location [OPERATOR] URL {
					...
					if CONDITION {
						...
					}
				}
			}
		}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69

配置指令：

（1）main配置段常见的配置指令：
分类：
正常运行必备的配置
优化性能相关的配置
用于调试及定位问题相关的配置
事件驱动相关的配置

		正常运行必备的配置：
			1、user
				Syntax:	user user [group];
				Default:	user nobody nobody;
				Context:	main
				
				Defines user and group credentials used by worker processes. If group is omitted, a group whose name equals that of user is used.
				
			2、pid /PATH/TO/PID_FILE;
				指定存储nginx主进程进程号码的文件路径；
				
			3、include file | mask;
				指明包含进来的其它配置文件片断；
				
			4、load_module file;
				指明要装载的动态模块；
				
		性能优化相关的配置：
			1、worker_processes number | auto;
				worker进程的数量；通常应该等于小于当前主机的cpu的物理核心数；
				auto：当前主机物理CPU核心数；
				
			2、worker_cpu_affinity cpumask ...;
				worker_cpu_affinity auto [cpumask];
				
				CPU MASK：
					00000000：
					00000001：0号CPU
					00000010：1号CPU
					... ...
			3、worker_priority number;
				指定worker进程的nice值，设定worker进程优先级；[-20,20]
				
			4、worker_rlimit_nofile number;
				worker进程所能够打开的文件数量上限；
				
		调试、定位问题：
			1、daemon on|off;	
				是否以守护进程方式运行Nignx；
				
			2、master_process on|off;
				是否以master/worker模型运行nginx；默认为on；
				
			3、error_log file [level];
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

（2）事件驱动相关的配置:
events {
…
}

			1、worker_connections number;
				每个worker进程所能够打开的最大并发连接数数量；
				
				worker_processes * worker_connections
				
			2、use method;
				指明并发连接请求的处理方法；
					
					use epoll;
					
			3、accept_mutex on | off;
				处理新的连接请求的方法；on意味着由各worker轮流处理新请求，Off意味着每个新请求的到达都会通知所有的worker进程；
1
2
3
4
5
6
7
8
9
10
11
12

（3)http协议的相关配置：
http {
… …
server {
…
server_name
root
location [OPERATOR] /uri/ {
…
}
}
server {
…
}
}

		与套接字相关的配置：
		
			1、server { ... }
				配置一个虚拟主机；
					
				server {
					listen address[:PORT]|PORT;
					server_name SERVER_NAME;
					root /PATH/TO/DOCUMENT_ROOT;							
				}
				
			2、listen PORT|address[:port]|unix:/PATH/TO/SOCKET_FILE
			      listen address[:port] [default_server] [ssl] [http2 | spdy]  [backlog=number] [rcvbuf=size] [sndbuf=size]
				
				default_server：设定为默认虚拟主机；
				ssl：限制仅能够通过ssl连接提供服务；
				backlog=number：后援队列长度；
				rcvbuf=size：接收缓冲区大小；
				sndbuf=size：发送缓冲区大小；
				
			3、server_name name ...;
				指明虚拟主机的主机名称；后可跟多个由空白字符分隔的字符串；
					支持*通配任意长度的任意字符；server_name *.magedu.com  www.magedu.*
					支持~起始的字符做正则表达式模式匹配；server_name ~^www\d+\.magedu\.com$
					
				匹配机制：
					(1) 首先是字符串精确匹配;
					(2) 左侧*通配符；
					(3) 右侧*通配符；
					(4) 正则表达式；
				
				
			4、tcp_nodelay on | off;
				在keepalived模式下的连接是否启用TCP_NODELAY选项；
						多个较小的包合成一起发送请求，请求返回时需要按顺序返回（延迟发送）
				
				tcp_nopush on|off;
				在sendfile模式下，是否启用TCP_CORK选项；
						在内核中是否将应用层首部合并起来一并发送
				
			5、sendfile on | off;
				是否启用sendfile功能；
						内核直接进行发送，不需要内核空间复制到用户空间才进行发送
				
		定义路径相关的配置：
			6、root path; 
				设置web资源路径映射；用于指明用户请求的url所对应的本地文件系统上的文档所在目录路径；可用的位置：http, server, location, if in location；
				
			**7、location [ = | ~ | ~* | ^~ ] uri { ... }**
			***[匹配机制参考文档](https://juejin.cn/post/6908623305129852942)***
					在一个server中location配置段可存在多个，用于实现从uri到文件系统的路径映射；ngnix会根据用户请求的URI来检查定义的所有location，并找出一个最佳匹配，而后应用其配置；
					精准匹配
						=：对URI做精确匹配
					正则表达式匹配：（注意~ 与 ~*优先级相同）
						~：对URI做正则表达式模式匹配，区分字符大小写，如果有多个~，则按照从上到下匹配；
						~*：对URI做正则表达式模式匹配，不区分字符大小写，如果有多个~，则按照从上到下匹配；
					普通字符串匹配
						^~ ：对URI的左半部分做普通字符串匹配检查，不区分字符大小写，如果匹配多个 ^~ 则按照从长倒短匹配；
						不带符号：匹配起始于此uri的所有的url，如果匹配多个则按照从长倒短匹配；
						
				匹配优先级：
					[=] > [^~] > [~/~*] > [空格]
					
	
			8、alias path;
				定义路径别名，文档映射的另一种机制；仅能用于location上下文；
				
				注意：location中使用root指令和alias指令的意义不同；
					(a) root，给定的路径对应于location中的/uri/左侧的/；
					(b) alias，给定的路径对应于location中的/uri/右侧的/；
					
			9、index file ...;
				默认资源；http, server, location；
				
			10、error_page code ... [=[response]] uri;
				Defines the URI that will be shown for the specified errors. 
				
			11、try_files file ... uri;
			
		定义客户端请求的相关配置
		
			12、keepalive_timeout timeout [header_timeout];
				设定保持连接的超时时长，0表示禁止长连接；默认为75s；
				
			13、keepalive_requests number;
				在一次长连接上所允许请求的资源的最大数量，默认为100; 
				
			14、keepalive_disable none | browser ...;
				对哪种浏览器禁用长连接；
				
			15、send_timeout time;
				向客户端发送响应报文的超时时长，此处，是指两次写操作之间的间隔时长；
				
			16、client_body_buffer_size size;
				用于接收客户端请求报文的body部分的缓冲区大小；默认为16k；超出此大小时，其将被暂存到磁盘上的由client_body_temp_path指令所定义的位置；
				
			17、client_body_temp_path path [level1 [level2 [level3]]];
				设定用于存储客户端请求报文的body部分的临时存储路径及子目录结构和数量；
				
					16进制的数字；
					
					client_body_temp_path   /var/tmp/client_body  2 1 1 
						1：表示用一位16进制数字表示一级子目录；0-f
						2：表示用2位16进程数字表示二级子目录：00-ff   256个
						2：表示用2位16进程数字表示三级子目录：00-ff	256个
					
		对客户端进行限制的相关配置：
			18、limit_rate rate;
				限制响应给客户端的传输速率，单位是bytes/second，0表示无限制；
				
			19、limit_except method ... { ... }
				针对指定的请求方法之外的其它方法的属性限制；
				
				limit_except GET {
					allow 192.168.1.0/24;
					deny  all;
				}
				
				limit_except PUT DELETE {
    				proxy_pass http://127.0.0.1:9080;
			     }
				
		 文件操作优化的配置
			20、aio on | off | threads[=pool];
				是否启用aio功能（异步）；
				
			21、directio size | off;
				在Linux主机启用O_DIRECT标记，此处意味文件大于等于给定的大小时使用，例如directio 4m;
				
			22、open_file_cache off;
				open_file_cache max=N [inactive=time];
					nginx可以缓存以下三种信息：
						(1) 文件的描述符、文件大小和最近一次的修改时间；
						(2) 打开的目录结构；
						(3) 没有找到的或者没有权限访问的文件的相关信息；
					
					max=N：可缓存的缓存项上限；达到上限后会使用LRU算法实现缓存管理；
					
					inactive=time：缓存项的非活动时长，在此处指定的时长内未被命中的或命中的次数少于open_file_cache_min_uses指令所指定的次数的缓存项即为非活动项；
					
			23、open_file_cache_valid time;
				缓存项有效性的检查频率；默认为60s; 
				
			24、open_file_cache_min_uses number;
				在open_file_cache指令的inactive参数指定的时长内，至少应该被命中多少次方可被归类为活动项；
				
			25、open_file_cache_errors on | off;
				是否缓存查找时发生错误的文件一类的信息；
				
		ngx_http_access_module模块：
			实现基于ip的访问控制功能，规则从上往下进行匹配，如果上条匹配到就不再匹配下条
			
			26、allow address | CIDR | unix: | all;
			27、deny address | CIDR | unix: | all;
			
				http, server, location, limit_except
				
		ngx_http_auth_basic_module模块
			实现基于用户的访问控制，使用basic机制进行用户认证；
			
			28、auth_basic string | off;
			29、auth_basic_user_file file;
			
				location /admin/ {
					alias /webapps/app1/data/;
					auth_basic "Admin Area";
					auth_basic_user_file /etc/nginx/.ngxpasswd;
				}
				
				注意：htpasswd命令由httpd-tools所提供；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170

示例：生成认证文件在这里插入图片描述

			ngx_http_stub_status_module模块
				用于输出nginx的基本状态信息；
				
				Active connections: 291 
				server accepts handled requests
					16630948 16630948 31070465 
				Reading: 6 Writing: 179 Waiting: 106 	
				
				Active connections: 当前的活动状态的连接数；
				accepts：已经接受的客户端请求的总数；
				handled：已经处理完成的客户端请求的总数；
				requests：客户端发来的总的请求数；
				Reading：处于读取客户端请求报文首部的连接的连接数；
				Writing：处于向客户端发送响应报文过程中的连接数；
				Waiting：处于等待客户端发出请求的空闲连接数（如：长连接）；
				
				30、stub_status;
				
				配置示例：
					location  /basic_status {
						stub_status;
					}
					
			ngx_http_log_module模块
				he ngx_http_log_module module writes request logs in the specified format.
				
				31、log_format name string ...;
					string可以使用nginx核心模块及其它模块内嵌的变量；
					
					课外作业：为nginx定义使用类似于httpd的combined格式的访问日志；
					
				32、access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
					access_log off;
					
					访问日志文件路径，格式及相关的缓冲的配置；
						buffer=size
						flush=time 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

代码示例

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '  
                  '$status $body_bytes_sent "$http_referer" '  
                  '"$http_user_agent" "$http_x_forwarded_for"';
#log_format main: 这定义了一个名为main的日志格式。你可以在Nginx的配置中的其他位置引用这个名称，以指定使用这个日志格式。
#$remote_addr: 客户端的IP地址。
#$remote_user: 远程用户名称，通常与HTTP基本身份验证相关。
#[$time_local]: 本地时间，格式为dd/MMM/yyyy:HH:mm:ss +ZZZZ。
#"$request": 完整的原始请求行，包括请求方法、URI和协议版本。
#$status: HTTP响应状态代码。
#$body_bytes_sent: 发送给客户端的响应体的大小（以字节为单位）。
#"$http_referer": 请求头中的Referer字段，表示请求的来源页面。
#"$http_user_agent": 请求头中的User-Agent字段，表示发出请求的客户端的信息（如浏览器类型、版本等）。
#"$http_x_forwarded_for": 请求头中的X-Forwarded-For字段，当请求通过代理服务器时，该字段可能包含原始客户端的IP地址。                  
                  
access_log  /var/log/nginx/access.log  main; 
#这会将access log记录到/var/log/nginx/access.log文件中，并使用main定义的格式。

113.215.188.232 - - [22/Apr/2024:15:49:20 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.67" "-"
#日志示例，- 表示空


                 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

				33、open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
					open_log_file_cache off;
						缓存各日志文件相关的元数据信息；
						
						max：缓存的最大文件描述符数量；
						min_uses：在inactive指定的时长内访问大于等于此值方可被当作活动项；
						inactive：非活动时长；
						valid：验正缓存中各缓存项是否为活动项的时间间隔；
1
2
3
4
5
6
7
8

重要模块

ngx_http_gzip_module：

 			The ngx_http_gzip_module module is a filter that compresses responses using the “gzip” method. This often helps to reduce the size of transmitted data by half or even more.
 			
 			1、gzip on | off;
 				Enables or disables gzipping of responses.
 				
 			2、gzip_comp_level level;
 				Sets a gzip compression level of a response. Acceptable values are in the range from 1 to 9.
 				
 			3、	gzip_disable regex ...;
 				Disables gzipping of responses for requests with “User-Agent” header fields matching any of the specified regular expressions.
 				
 			4、	gzip_min_length length;
 				启用压缩功能的响应报文大小阈值； 
 				
 			5、gzip_buffers number size;
 				支持实现压缩功能时为其配置的缓冲区数量及每个缓存区的大小；
 				
 			6、gzip_proxied off | expired | no-cache | no-store | private | no_last_modified | no_etag | auth | any ...;
 				nginx作为代理服务器接收到从被代理服务器发送的响应报文后，在何种条件下启用压缩功能的；
 					off：对代理的请求不启用
 					no-cache, no-store，private：表示从被代理服务器收到的响应报文首部的Cache-Control的值为此三者中任何一个，则启用压缩功能；
 					
 			7、gzip_types mime-type ...;
 				压缩过滤器，仅对此处设定的MIME类型的内容启用压缩功能；

 			示例：
 				gzip  on;
 				gzip_comp_level 6;
 				gzip_min_length 64;
 				gzip_proxied any;
 				gzip_types text/xml text/css  application/javascript;						
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

ngx_http_ssl_module模块：(仅能基于IP地址实现)

 			1、	ssl on | off;
 				Enables the HTTPS protocol for the given virtual server.
 				
 			2、ssl_certificate file;
 				当前虚拟主机使用PEM格式的证书文件；
 				
 			3、ssl_certificate_key file;
 				当前虚拟主机上与其证书匹配的私钥文件；
 				
 			4、ssl_protocols [SSLv2] [SSLv3] [TLSv1] [TLSv1.1] [TLSv1.2];
 				支持ssl协议版本，默认为后三个；
 				
 			5、ssl_session_cache off | none | [builtin[:size]] [shared:name:size];
 				builtin[:size]：使用OpenSSL内建的缓存，此缓存为每worker进程私有；
 				
 				[shared:name:size]：在各worker之间使用一个共享的缓存；
 				
 			6、ssl_session_timeout time;
 				客户端一侧的连接可以复用ssl session cache中缓存 的ssl参数的有效时长；
 				
 			配置示例：
 				server {
 					listen 443 ssl;
 					server_name www.magedu.com;
 					root /vhosts/ssl/htdocs;
 					ssl on;
 					ssl_certificate /etc/nginx/ssl/nginx.crt;
 					ssl_certificate_key /etc/nginx/ssl/nginx.key;
 					ssl_session_cache shared:sslcache:20m;
 				}	
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

ngx_http_rewrite_module模块：

 	The ngx_http_rewrite_module module is used to change request URI using PCRE regular expressions, return redirects, and conditionally select configurations.
 	
 	bbs.magedu.com/ --> www.magedu.com/bbs/,  http://www.magedu.com/ --> https://www.magedu.com/
 	http://www.magedu.com/login.php;username=tom --> http://www.magedu.com/tom/
 	
 	http://www.ilinux.io/bbs/ --> http://bbs.ilinux.io/
 	
 	
 	将用户请求的URI基于regex所描述的模式进行检查，而后完成替换；
 	
 	1、rewrite regex replacement [flag]
 		将用户请求的URI基于regex所描述的模式进行检查，匹配到时将其替换为replacement指定的新的URI；
 		
 		注意：如果在同一级配置块中存在多个rewrite规则，那么会自下而下逐个检查；被某条件规则替换完成后，会重新一轮的替换检查，因此，隐含有循环机制；[flag]所表示的标志位用于控制此循环机制；
 		
 		如果replacement是以http://或https://开头，则替换结果会直接以重向返回给客户端；
 			301：永久重定向；
 			
 		[flag]：
 			last：重写完成后停止对当前URI在当前location中后续的其它重写操作，而后对新的URI启动新一轮重写检查；提前重启新一轮循环； 
 			break：重写完成后停止对当前URI在当前location中后续的其它重写操作，而后直接跳转至重写规则配置块之后的其它配置；结束循环；
 			redirect：重写完成后以临时重定向方式直接返回重写后生成的新URI给客户端，由客户端重新发起请求；不能以http://或https://开头；
 			permanent:重写完成后以永久重定向方式直接返回重写后生成的新URI给客户端，由客户端重新发起请求；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

示例：
在这里插入图片描述

		2、return
			return code [text];
			return code URL;
			return URL;
			
			Stops processing and returns the specified code to a client. 
			
		3、	rewrite_log on | off;
			是否开启重写日志；
			
		4、	if (condition) { ... }
			引入一个新的配置上下文 ；条件满足时，执行配置块中的配置指令；server, location；
			
			condition：
				比较操作符：
					==
					!=
					~：模式匹配，区分字符大小写；
					~*：模式匹配，不区分字符大小写；
					!~：模式不匹配，区分字符大小写；
					!~*：模式不匹配，不区分字符大小写；
				文件及目录存在性判断：
					-e, !-e
					-f, !-f
					-d, !-d
					-x, !-x
					
		5、set $variable value;
			用户自定义变量 ；			
	
		
	ngx_http_referer_module模块：
		The ngx_http_referer_module module is used to block access to a site for requests with invalid values in the “Referer” header field. 
		
		1、valid_referers none | blocked | server_names | string ...;（防盗链）
			定义referer首部的合法可用值；
				
				none：请求报文首部没有referer首部；
				blocked：请求报文的referer首部没有值；
				server_names：参数，其可以有值作为主机名或主机名模式；
					arbitrary_string：直接字符串，但可使用*作通配符；
					regular expression：被指定的正则表达式模式匹配到的字符串；要使用~打头，例如 ~.*\.magedu\.com；
					
			配置示例：
				valid_referers none block server_names *.magedu.com *.mageedu.com magedu.* mageedu.* ~\.magedu\（表示只要有这几个字符都可以被引用，可以被爬数据被搜索引擎录入）.;都是合法引用，
				
				if($invalid_referer) {
					return http://www.magedu.com/invalid.jpg;
				}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

示例：
在这里插入图片描述

nginx代理

参考文档
snat/dnat 与正向/反向代理：
snat/dnat 是工作在传输层的，只能理解IP与端口，实现的是报文转发，报文的内容还是原内容,调度器需要开启核心转发
正向/反向代理是工作在会话层的服务，必须要理解报文的内容，并且通过自己配置的报文格式发送给另一方，而且可以对内容进行缓存以提高响应效率，不需要开启核心转发

	ngx_http_proxy_module模块：
	
		The ngx_http_proxy_module module allows passing requests to another server.
		
		1、proxy_pass URL;
			Context:	location, if in location, limit_except
			
			注意：proxy_pass后面的路径不带uri时，其会将location的uri传递给后端主机；
				
				server {
					...
					server_name HOSTNAME;
					location /uri/ {
						proxy_pass http://host[:port];
					}
					...
				}
				
				http://HOSTNAME/uri --> http://host/uri 
				
			proxy_pass后面的路径是一个uri时，其会将location的uri替换为proxy_pass的uri；
				
				server {
					...
					server_name HOSTNAME;
					location /uri/ {
						proxy http://host/new_uri/;
					}
					...
				}
				
				http://HOSTNAME/uri/xxx --> http://host/new_uri/xxx
				
			如果location定义其uri时使用了正则表达式的模式，或在if语句或limt_execept中使用proxy_pass指令，则proxy_pass之后必须不能使用uri; 用户请求时传递的uri将直接附加代理到的服务的之后；
			
				server {
					...
					server_name HOSTNAME;
					location ~|~* /uri/ {
						proxy http://host;
					}
					...
				}
				
				http://HOSTNAME/uri/ --> http://host/uri/；
				
		2、proxy_set_header field value;
			设定发往后端主机的请求报文的请求首部的值；Context:	http, server, location
			
			proxy_set_header X-Real-IP  $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  可能有多级代理，这个参数会附加到头部而使在多级代理中客户端IP信息不变
			
		3、proxy_cache_path
			定义可用于proxy功能的缓存；Context:	http			
			
			proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
			
		4、proxy_cache zone | off;
			指明要调用的缓存，或关闭缓存机制；Context:	http, server, location
			
		5、	proxy_cache_key string;
			缓存中用于“键”的内容；
			
			默认值：proxy_cache_key $scheme$proxy_host$request_uri;
			
		6、proxy_cache_valid [code ...] time;
			定义对特定响应码的响应内容的缓存时长；
			
			定义在http{...}中；
			proxy_cache_path /var/cache/nginx/proxy_cache levels=1:1:1 keys_zone=pxycache:20m max_size=1g;
			
			定义在需要调用缓存功能的配置段，例如server{...}；
			proxy_cache pxycache;
			proxy_cache_key $request_uri;
			proxy_cache_valid 200 302 301 1h;
			proxy_cache_valid any 1m;
			
		7、proxy_cache_use_stale   定义过期的内容是否响应（例如后端异常）
			
			proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | off ...;
			
			Determines in which cases a stale cached response can be used when an error occurs during communication with the proxied server.
			
		8、proxy_cache_methods GET | HEAD | POST ...;
			If the client request method is listed in this directive then the response will be cached. “GET” and “HEAD” methods are always added to the list, though it is recommended to specify them explicitly. 
			
		9、proxy_hide_header field; 定义向客户端隐藏哪些头部
			By default, nginx does not pass the header fields “Date”, “Server”, “X-Pad”, and “X-Accel-...” from the response of a proxied server to a client. The proxy_hide_header directive sets additional fields that will not be passed.
			
		10、proxy_connect_timeout time;  面向服务器的建立连接（三次握手）超时时间
			Defines a timeout for establishing a connection with a proxied server. It should be noted that this timeout cannot usually exceed 75 seconds.
			
			默认为60s；最长为75s；
			
		11、proxy_read_timeout time; 读取响应超时时间
			Defines a timeout for reading a response from the proxied server. The timeout is set only between two successive read operations, not for the transmission of the whole response.
			
		12、proxy_send_timeout time;发送超时时间
			Sets a timeout for transmitting a request to the proxied server. he timeout is set only between two successive write operations, not for the transmission of the whole request. If the proxied server does not receive anything within this time, the connection is closed.
						
	ngx_http_headers_module模块
		The ngx_http_headers_module module allows adding the “Expires” and “Cache-Control” header fields, and arbitrary fields, to a response header.
		
		向由代理服务器响应给客户端的响应报文添加自定义首部，或修改指定首部的值；
		
		1、add_header name value [always];
			添加自定义首部；
			
			add_header X-Via  $server_addr;
			add_header X-Accel $server_name;
			
		2、expires [modified] time;
			expires epoch | max | off;
			
			用于定义Expire或Cache-Control首部的值；
								
					
					
	ngx_http_fastcgi_module模块：
		
		The ngx_http_fastcgi_module module allows passing requests to a FastCGI server.
		
		1、fastcgi_pass address;
			address为fastcgi server的地址；	location, if in location；
			
				http://www.ilinux.io/admin/index.php --> /admin/index.php (uri)
					/data/application/admin/index.php
						
			
		2、fastcgi_index name;
			fastcgi默认的主页资源; 
			
		3、fastcgi_param parameter value [if_not_empty];
			Sets a parameter that should be passed to the FastCGI server. The value can contain text, variables, and their combination.
			
		配置示例1：
			前提：配置好fpm server和mariadb-server服务；
				location ~* \.php$ {
					root           /usr/share/nginx/html;
					fastcgi_pass   127.0.0.1:9000;
					fastcgi_index  index.php;
					fastcgi_param  SCRIPT_FILENAME  /usr/share/nginx/html$fastcgi_script_name;
					include        fastcgi_params;
				}
				
		配置示例2：通过/pm_status和/ping来获取fpm server状态信息；
			location ~* ^/(pm_status|ping)$ {
				include        fastcgi_params;
				fastcgi_pass 127.0.0.1:9000;
				fastcgi_param  SCRIPT_FILENAME  $fastcgi_script_name;
			}			
				
		4、fastcgi_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
		
			定义fastcgi的缓存；缓存位置为磁盘上的文件系统，由path所指定路径来定义；
			
				levels=levels：缓存目录的层级数量，以及每一级的目录数量；levels=ONE:TWO:THREE
					leves=1:2:2
				keys_zone=name:size
					k/v映射的内存空间的名称及大小
				inactive=time
					非活动时长
				max_size=size
					磁盘上用于缓存数据的缓存空间上限
				
		5、fastcgi_cache zone | off;
			调用指定的缓存空间来缓存数据；http, server, location
			
		6、fastcgi_cache_key string;
			定义用作缓存项的key的字符串；
			
		7、fastcgi_cache_methods GET | HEAD | POST ...;
			为哪些请求方法使用缓存；
			
		8、fastcgi_cache_min_uses number;
			缓存空间中的缓存项在inactive定义的非活动时间内至少要被访问到此处所指定的次数方可被认作活动项；
			
		9、fastcgi_cache_valid [code ...] time;
			不同的响应码各自的缓存时长；
			
			示例：
				http {
					...
					fastcgi_cache_path /var/cache/nginx/fastcgi_cache levels=1:2:1 keys_zone=fcgi:20m inactive=120s;
					...
					server {
						...
						location ~* \.php$ {
							...
							fastcgi_cache fcgi;
							fastcgi_cache_key $request_uri;
							fastcgi_cache_valid 200 302 10m;
							fastcgi_cache_valid 301 1h;
							fastcgi_cache_valid any 1m;	
							...
						}
						...
					}
					...
				}
			
			10、fastcgi_keep_conn on | off;（发请求时保持链接）
				By default, a FastCGI server will close a connection right after sending the response. However, when this directive is set to the value on, nginx will instruct a FastCGI server to keep connections open.
			11.	fastcgi因为与http协议不兼容，需要自定义并给后端传递变量，例如根路径。变量是在/etc/nginx/fastcgi_params中定义的，一般可以直接在主配置文件中定义：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204

在这里插入图片描述

upstream

ngx_http_upstream_module模块 
	只能定义在http上下文中
	The ngx_http_upstream_module module is used to define groups of servers that can be referenced by the proxy_pass, fastcgi_pass, uwsgi_pass, scgi_pass, and memcached_pass directives.
		
	1、upstream name { ... }
		定义后端服务器组，会引入一个新的上下文；Context: http
		
		upstream httpdsrvs {
			server ...
			server...
			...
		}
		
	2、server address [parameters];
		在upstream上下文中server成员，以及相关的参数；Context:	upstream
		
		address的表示格式：
			unix:/PATH/TO/SOME_SOCK_FILE
			IP[:PORT]
			HOSTNAME[:PORT]
			
		parameters：
			weight=number
				权重，默认为1；
			max_fails=number
				失败尝试最大次数；超出此处指定的次数时，server将被标记为不可用；
			fail_timeout=time
				设置将服务器标记为不可用状态的超时时长；
			max_conns
				当前的服务器的最大并发连接数；
			backup
				将服务器标记为“备用”，即所有服务器均不可用时此服务器才启用；
			down
				标记为“不可用”；
				
	3、least_conn;
		最少连接调度算法，当server拥有不同的权重时其为wlc;
		
	4、	ip_hash;
		源地址hash调度方法；（根据客户端链接数调度）
		
	5、hash key [consistent];（基于cookie等自定义内容调度）
		基于指定的key的hash表来实现对请求的调度，此处的key可以直接文本、变量或二者的组合；
		
		作用：将请求分类，同一类请求将发往同一个upstream server；
		
		If the consistent parameter is specified the ketama consistent hashing method will be used instead.
			
		示例：
			hash $request_uri consistent;
			hash $remote_addr;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

在这里插入图片描述

	6、keepalive connections;
		为每个worker进程保留的空闲的长连接数量；
		
nginx的其它的二次发行版：
	tengine
	OpenResty
	
ngx_stream_core_module模块（需手动编译这个模块）
	模拟反代基于tcp或udp的服务连接，即工作于传输层的反代或调度器；
	
	1、stream { ... }
		定义stream相关的服务；Context:main
		
		stream {
			upstream sshsrvs {
				server 192.168.22.2:22; 
				server 192.168.22.3:22; 
				least_conn;
			}

			server {
				listen 10.1.0.6:22022;
				#hu
				proxy_pass sshsrvs;
				#或指明协议
				#proxy_pass http://sshsrvs;
			}
		}	
		
	2、listen
		listen address:port [ssl] [udp] [proxy_protocol] [backlog=number] [bind] [ipv6only=on|off] [reuseport] [so_keepalive=on|off|[keepidle]:[keepintvl]:[keepcnt]];
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

编译安装：

	nginx -V 查看已装的nginx所编译的模块
	前提：开发环境，包括nginx编译要启用的功能依赖到的开发库；
		# yum groupinstall "Development Tools" "Server Platform Development"
		# yum -y pcre-devel openssl-devel
		
	编译过程：
		# ./configure --prefix=/usr/local/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --user=nginx --group=nginx --with-http_ssl_module  --with-http_stub_status_module --with-http_flv_module --with-http_mp4_module --with-threads --with-file-aio
		# make && make install							
1
2
3
4
5
6
7
8

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小桥流水78/article/detail/913177