Nginx性能优化配置_worker_processes auto

一、全局优化

# 工作进程数
worker_processes auto;           # 建议 CPU核心数|CPU线程数
 
# 最大支持的连接(open-file)数量；最大值受限于 Linux open files (ulimit -n)
# 建议公式：worker_rlimit_nofile > worker_processes * worker_connections
worker_rlimit_nofile    65535;
 
events {
    use epoll;                   # 高效的IO多路复用（RedHat6+ 都支持 epoll）
    multi_accept on;             # 设置一个进程是否同时接受多个网络连接
    worker_connections  10240;   # 单个工作进程，可承载的最大连接数；
}

二、 与客户端之间的优化

 

http {
    
    ###### 零拷贝技术
    sendfile on;            # 开启不读到(应用本身)内存，直接通过系统发出数据
    #sendfile_max_chunk 2m; # 每个进程每次调用传输数量不能大于设定的值，默认0为无上限。
    
    ###### 网络传输
    # on：累积到一定容量的数据再发，发送次数少
    # off：有数据就发，发送次数多，占用网络资源
    tcp_nopush on;
    
    ###### 长连接；用户端比较分散，keepalive 默认值已经足够，个人不建议重设
    
    ###### 响应数据 开启压缩模式
    gzip on;
    gzip_vary on;                                # 为兼容老浏览器，追加到Header的压缩标注
    gzip_proxied any;                            # 所有代理请求都压缩，也可指定类型
    gzip_comp_level 2;                           # 压缩等级1-9(比例)等级越大 压缩越高 越耗CPU
    gzip_min_length 128;                         # 压缩前提，当返回内容大于指定时再压缩
    gzip_types text/css text/xml image/svg+xml;  # 指定压缩的文件类型；更多压缩项可参考 mime.types
}

 三、 与后端服务之间的优化

http {
    upstream backend_A {
        # ...
        
        # 长连接；所有请求汇聚到后端服务器，并发时是有必要在此基础上重配 keepalive 的
        # 以下 keepalive 需要 http 1.1 版本，并且 header connection close
        keepalive 100;           # 每个Worker与后端的连接池中，保持指定量的空闲连接数（QPS的10%）
        keepalive_time 1h;       # 每个长连接的(忙碌+空闲)总时长，超出后强制失效
        keepalive_timeout 60s;   # 每个长连接，最大空闲时长，超出后自动关闭长连接
        keepalive_requests 1000; # 每次长连接支持的 Request 次数，超出后自动关闭
    }
    
    server {
        location \ {
            proxy_pass http://backend_A;
            proxy_http_version 1.1;            # 1.1 支持 keep-live
            proxy_set_header connection "";    # 覆盖客户端的连接头
        }
    }
}

四、 扩展优化

多级缓存：通过 Nginx 实现各种缓存的配置，浏览器缓存、CDN缓存、Nginx内存、代理缓存、后端服务应用缓存等。

资源静态化 ssi 模块：请求结果生成静态页，Nginx设置拦截，更多的请求直接读静态页后返回；减少后端请求，定时生成静态页。

静态资源同步 rsync：每台服务都安装，监控目录变化，把生成的静态页推送到多台服务器。

合并请求 concat 第三方模块：将多个静态资源文件 合并为一次请求加载完成，减少并发量；淘宝示例：??xxx.js,yyy.js,zzz.js

五、优化项梳理

 

1、worker_processes 工作进程最大连接数

worker进程数(worker_processes )默认为 1 ，单进程最大连接数(worker_connections)为1024

• 每个 worker 进程都是单线程的进程，它们会调用各个模块以实现多种多样的功能

• 如果这些模块确认不会出现阻塞式的调用，那么有多少CPU内核就应该配置多少个进程

• 反之，如果有可能出现阻塞式调用，那么需要配置稍多一些的worker进程

例如：如果业务方面会致使 用户请求 大量读取 本地磁盘上的静态资源文件，而且服务器上的内存较小，以至于 大部分的请求 访问 静态资源文件 时，都必须读取磁盘（磁头的寻址是缓慢的），而不是内存中的磁盘缓存，那么磁盘 IO 调用可能会 阻塞 住 worker 进程少量时间，进而导致服务整体性能下降。

运行工作进程个数一般设置CPU的核心或者核心数x2

如果不了解CPU的核数，可以top命令后按1来看

 
# 编辑ng的配置文件
> vi /usr/local/nginx/conf/nginx.conf
> worker_processes 4;
# 保存退出
# 重新加载ng配置文件
> /usr/local/nginx/sbin/nginx-s reload
# 查看进程情况
> ps -aux | grep nginx |grep -v grep

2、worker_cpu_affinity工作进程绑定CPU内核 

假定每一个 worker 进程都是非常繁忙的，如果多个 worker 进程都在抢同一个 CPU，那么这就会出现 同步问题。

反之，如果每一个 worker 进程都独享一个 CPU，就在 内核的调度 策略上实现了完全的 并发。

注意：worker_cpu_affinity 配置仅对 Linux 操作系统有效。

 
# 如：如果有`2`颗`CPU`内核，就可以进行如下配置
worker_processes 2;
worker_cpu_affinity 10 01;
 
# 如：如果有`4`颗`CPU`内核，就可以进行如下配置
worker_processes 4;
worker_cpu_affinity 1000 0100 0010 0001;
 
# 如：如果有`8`颗`CPU`内核，就可以进行如下配置
worker_processes 8;
worker_cpu_affinity 00000001 00000010 00000100 0000100000010000 00100000 01000000 10000000;

8个以上性能不会再提升了，而且稳定性变得更低，所以worker_processes 最多开8个就可以了。

3、worker_rlimit_nofile打开文件的最大限制

每个进程的最大文件打开数，所以最好与ulimit -n的值保持一致。

linux一切皆文件，每一次用户发起请求就会生成一个文件句柄，文件句柄可以理解为就是一个索引，所有文件句柄就会随着请求量的增多，而进程调用的频率增加，文件句柄的产生就会越多，系统对文件句柄默认的限制是1024个，对于nginx来说需要改大一点。

4、work_connections连接数

work_connections表示每个worker（子进程）可以创建多少个连接，默认1024，最大是65535

worker_connections的数值根据操作系统允许打开的最大文件数目设定。

从用户的角度，http 1.1协议下，由于浏览器默认使用两个并发连接,因此计算方法：

• nginx作为http服务器

max_clients = worker_processes * worker_connections/2

• nginx作为反向代理服务器：

max_clients = worker_processes * worker_connections/4

为啥除以4呢？

因为在反向代理时，浏览器会和nginx建立2条连接，nginx也会建立对应的2条连接到后端服务器，所以需要除以4。

5、连接超时时间设置

主要目的是保护服务器资源，CPU，内存，控制连接数，因为建立连接也是需要消耗资源的。

keepalive_timeout 60;              
tcp_nodelay on;
client_header_buffer_size 4k;
open_file_cache max=102400 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 1;
client_header_timeout 15;
client_body_timeout 15;
reset_timeout_connection on;
send_timeout 15;
server_tokens off;
client_max_body_size 10m;

• keepalive_timeout：客户端连接保持会话超时时间，超过这个时间，服务器断开这个链接。

• tcp_nodelay：也是防止网络阻塞，需要keepalived参数。

• client_header_buffer_size：客户端请求头部的缓冲区大小，这个可以根据系统分页大小来设置，一般一个请求头的大小不会超过1k，不过由于一般系统分页都要大于1k，所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。

• open_file_cache：这个将为打开文件指定缓存，默认是没有启用的，max指定缓存数量，建议和打开文件数一致，inactive 是指经过多长时间文件没被请求后删除缓存。

• open_file_cache_valid：这个是指多长时间检查一次缓存。

• open_file_cache_min_uses：open_file_cache指令中的inactive 参数时间内文件的最少使用次数，如果超过这个数字，文件描述符一直是在缓存中打开的。

• client_header_timeout：设置请求头的超时时间。也可以把这个设置低些，如果超过这个时间没有发送任何数据，nginx将返回request time out的错误。

• client_body_timeout：设置请求体的超时时间。可以把这个设置低些，超过这个时间没有发送任何数据，和上面一样的错误提示。

• reset_timeout_connection：告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。

• send_timeout：响应客户端超时时间，这个超时时间仅限于两个活动之间的时间，如果超过这个时间，客户端没有任何活动，nginx关闭连接。

• server_tokens：关闭nginx版本，符合等保要求。

• client_max_body_size：上传文件大小限制。

6、GZIP压缩设置

gzip on;
gzip_min_length 1k;
gzip_buffers 4 32k;
gzip_http_version 1.1;
gzip_comp_level 6;
gzip_types text/plain text/css text/javascript application/json application/javascript;
gzip_vary on;

• gzip_min_length：设置允许压缩的页面最小字节数，页面字节数从header头的Content-Length中获取，默认值是0，不管页面多大都进行压缩，建议设置成大于1K。

• gzip_buffers：压缩缓冲区大小，表示申请4个单位为32K的内存作为压缩结果流缓存，默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果。

• gzip_http_version：压缩版本，用于设置识别HTTP协议版本，默认是1.1，目前大部分浏览器已经支持GZIP解压，使用默认即可。

• gzip_comp_level：压缩比例，用来指定GZIP压缩比，1压缩比最小，处理速度最快，9压缩比最大，传输速度快，但是处理慢，也比较消耗CPU资源。

• gzip_types text/css text/xml application/javascript：用来指定压缩的类型，text/html类型总是会被压缩

• gzip_vary：  varyheader支持，此选项可以让前端的缓存服务器缓存经过GZIP压缩的页面，例如用Squid缓存经过nginx压缩的数据。

注意：gzip_types 默认是不压缩css和js的。

7、proxy超时设置

• proxy_connect_timeout：后端服务器连接的超时时间

• proxy_send_timeout：后端服务器数据回传时间

• proxy_read_timeout：连接成功后，等候后端服务器响应时间

• proxy_buffers：4是数量，32k是大小。该指令设置缓存区的大小和数量，从被代理的后端服务器取得的第一部分响应内容，会放置到这里，默认情况下，一个缓存区的大小等于内存页面大小，可能是4k也可能是8k取决于平台。

• proxy_busy_buffers_size：nginx分配一部分缓冲区来用于向客户端发送数据。大小通常是proxy_buffers单位大小的两倍，默认是8k/16k。

8、proxy_set_header配置

它用来设定被代理服务器接收到的header信息。

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;用来设置被代理端接收到的远程客户端IP，如果不设置，则header信息中并不会透传远程真实客户端的IP地址。

也可以加一写安全校验字段。

Access-Log缓存

# 工作进程数
worker_processes auto;           # 建议 CPU核心数|CPU线程数
 
# 最大支持的连接(open-file)数量；最大值受限于 Linux open files (ulimit -n)
# 建议公式：worker_rlimit_nofile > worker_processes * worker_connections
worker_rlimit_nofile    65535;
 
events {
    use epoll;                   # 高效的IO多路复用（RedHat6+ 都支持 epoll）
    multi_accept on;             # 设置一个进程是否同时接受多个网络连接
    worker_connections  10240;   # 单个工作进程，可承载的最大连接数；
}

9、Access-Log缓存 

access_log /mnt/logs/nginx-access.log buffer=64k gzip flush=1m

• buffer 设置指定要使用的缓冲区的大小

• flush 多长时间后把缓冲区中的条目写入文件

记录日志的I/O开销比较高，可以利用这个功能，降低写日志文件的频率，从而提高性能。

10、Expires缓存

 
# 增加客户端过期请求，可以路径，也可以是文件夹
location ~ ^/(images|javascript|js|css|media|static)/ {
  expires 360d;
}

一般通过这个配置，缓存图片/JS/CSS等静态文件到浏览器，减少每次的网络请求，加快网页浏览速度。

proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=page_cache:10m inactive=1d max_size=200M;
server {
    location / {
        proxy_cache page_cache;        
        proxy_pass http://backend;
        proxy_cache_bypass $http_pragma;
        proxy_cache_purge page_cache "$scheme$request_method$proxy_host$request_uri";
        proxy_no_cache $cookie_nocache $arg_nocache$arg_comment;
        proxy_cache_min_uses 90;
    }
}

11、静态资源防盗链 

防盗链：通过在其自身网站程序里调用其他网站的资源，然后在自己的网站上显示这些调用的资源，使得被盗链的那一端消耗带宽资源。

• 通过 HTTP referer实现防盗链

• 水印，品牌宣传，你的带宽，服务器足够

• 防火墙，直接控制，前提是你知道IP来源

• 防盗链策略下面的方法是直接给予404的错误提示

#第一种,匹配后缀location ~ .*.(gif|jpg|jpeg|png|bm|swf|flv|rar|zip|gz|bz2)$ { # 指定需要使用防盗链的媒体资源 access_log off; # 不记录日志 expires 15d; # 设置缓存时间 valid_referers none blocked *.test.com *.abc.com; # 表示仅允许这些域名访问上面的媒体资源 if ($invalid_referer) { # 如果域名不是上面指定的地址就返回403    return 403 }}

#第二种,绑定目录location /images {  root /web/www/img; vaild_referers none blocked *.test.com *.abc.com; if ($invalid_referer) { return 403; }}

参数说明

• none ：不存在的Referer头(直接访问，比如直接在浏览器打开一个图片)

• blocked ：意为根据防火墙伪装Referer头，如：“Referer:XXXX”

• server_names ：为一个或多个服务器的列表

12、非法user_agent拦截

进入到Nginx安装目录下的conf目录，编写代码为 agent_deny.conf

 切换到ng安装目录> cd ../nginx/conf# 新配置文件> vim agent_deny.conf
#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {     return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {     return 403;            }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {    return 403;}

将此文件添加到nginx.conf

 
> cd ../
> vi nginx.conf
include agent_deny.conf
# 保存，退出，重启
> ./nginx -s reload