前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >只知道 Nginx 牛逼!却不知道它怎么支持百万并发?

只知道 Nginx 牛逼!却不知道它怎么支持百万并发?

作者头像
民工哥
发布2024-03-21 14:51:26
2200
发布2024-03-21 14:51:26
举报

大家好,我是民工哥!

前段时间在网上看到一个有意思的话题:

确实,这是一个好问题,面试常问,很多人都在这上面栽过跟头!

所以,今天我们就来一起聊一聊这个话题。

大家都知道,无论是运维、开发、测试,Nginx 技术栈的学习总是必不可少的,只是不同的岗位掌握的深度与广度不同而已。

什么是 Nginx?

Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器,支持热部署,几乎可以做到 7 * 24 小时不间断运行,还可在不间断服务的情况下对软件版本进行热更新。Nginx 性能非常牛逼,占用内存少、并发能力强、能支持高并发,支持绝大部分协议,如TCP、UDP、SMTP、HTTPS等。最重要的是, Nginx 是免费开源的且可以商业化,配置使用也比较简单。

在中国有众多互联网大厂,如百度、京东、新浪、网易、腾讯等都在使用 Nginx,也有很多高知名度的国外网站也在使用 Nginx,比如:Netflix、GitHub、SoundCloud、MaxCDN等。

官方网站:http://www.nginx.org

Nginx 架构

Nginx 是如何支持百万并发?

Nginx 能够支持百万并发连接,主要通过以下几个方面来实现:

主进程与工作进程

当 Nginx 启动时,会生成主进程(master)和工作进程(worker)。

代码语言:javascript
复制
[root@nginx ~]# ps -ef|grep nginx
root       6324      1  0 09:06 ?        00:00:00 nginx: master process /usr/local/nginx-1.12.2/sbin/nginx
nobody     6325   6324  0 09:06 ?        00:00:00 nginx: worker process
root       6327   1244  0 09:06 pts/0    00:00:00 grep --color=auto nginx
  • 主进程主要负责调度工作进程(管理 Worker 进程),并不直接处理网络请求。
  • 工作进程(所有 Worker 进程都对等的)是实际处理网络请求及响应的进程,每个工作进程都是独立的,可同时处理数以千计的网络请求。
事件驱动模型

Nginx 的事件驱动模型由事件收集器、发送器和处理器三部分基本单元组成。

  • 事件收集器:收集 worker 进程的各种 IO 请求
  • 事件发送器:将 IO 事件发送到事件处理器
  • 事件处理器:处理各种事件的响应工作

Nginx 事件驱动架构是基于异步及非阻塞的方式,这种设计允许 Nginx 同时处理多个网络请求。

当一个客户端发起请求时,Nginx 会将该请求交给一个工作进程,由工作进程负责处理请求。工作进程采用异步方式处理请求,每个请求在一个单独的工作进程中处理,这样就不会因为一个请求的阻塞而影响其他请求的处理。因些,它可以同时处理多个客户端请求,从而提高了并发处理能力。

非阻塞IO

Nginx 在处理请求时采用了非阻塞 I/O 操作,这意味着它不会在等待 I/O 操作完成时阻塞进程。通过使用非阻塞 I/O,Nginx 可以同时处理多个 I/O 操作,从而提高了整体的处理能力。

如前面的图,事件发送器会将事件放入一个类似待处理的列表中,然后采用非非阻塞 I/O 方式来调用事件处理器来处理这个请求。

这种处理模式我们又将其称为“多路复用 I/O”,最常见的有括这三种:select 模型、poll模型、epoll 模型。

内存管理

Nginx 使用了强大内存池技术来管理内存,内存池中的内存块是预先分配的,避免了频繁的内存分配和释放操作,从而减少了内存分配和释放的开销,这样可以使 Nginx 在处理大量并发连接时更加高效。

负载均衡

Nginx 可以作为反向代理服务器使用,将客户端请求转发给后端服务器处理。通过配置负载均衡策略,Nginx 可以将请求分发到多个后端服务器,进一步提高整体的处理能力,这也是它给支持百万并发的一大关键技术。

代码语言:javascript
复制
upstream server_pools { 
  server 192.168.1.100:8888   weight=5;
  server 192.168.1.101:9999   weight=5;
  server 192.168.1.102:6666   weight=5;
  #weigth参数表示权值,权值越高被分配到的几率越大
}
server {  
  listen 80; 
  server_name mingongge.com;
  location / {    
  proxy_pass http://server_pools; 
   }
}

Nginx 实现负载均衡的策略

  • 轮询策略:默认情况下采用的策略,将所有客户端请求轮询分配给服务端。这种策略是可以正常工作的,但是如果其中某一台服务器压力太大,出现延迟,会影响所有分配在这台服务器下的用户。
  • 最小连接数策略:将请求优先分配给压力较小的服务器,它可以平衡每个队列的长度,并避免向压力大的服务器添加更多的请求。
  • 最快响应时间策略:优先分配给响应时间最短的服务器。
  • 客户端 ip 绑定策略:来自同一个 ip 的请求永远只分配一台服务器,有效解决了动态网页存在的 session 共享问题。
缓存

Nginx 支持缓存功能,Nginx 缓存作为性能优化的一个重要手段,可以极大减轻后端服务器的负载。

我们可以通过 Nginx 配置将静态文件存储在本地磁盘上,直接提供给客户端,减少了请求后端服务器的次数,提高了性能和并发处理能力。

代码语言:javascript
复制
proxy_cache_path  #代理缓存的路径
#语法格式
proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];

proxy_cache #开启或关闭代理缓存
#语法格式
proxy_cache zone | off;  #zone为内存区域的名称,即上面中keys_zone设置的名称。

proxy_cache_key #定义如何生成缓存的键
#语法格式
proxy_cache_key string;  #string为生成Key的规则,如proxy_host$request_uri。

proxy_cache_valid  #缓存生效的状态码与过期时间。
#语法格式
proxy_cache_valid [code ...] time;  #code为状态码,time为有效时间,可以根据状态码设置不同的缓存时间。如:proxy_cache_valid 200 302 30m;

proxy_cache_min_uses #设置资源被请求多少次后被缓存。
#语法格式
proxy_cache_min_uses number;  #number为次数,默认为1。

proxy_cache_use_stale #当后端出现异常时,是否允许Nginx返回缓存作为响应。
#语法格式
proxy_cache_use_stale error;  #error为错误类型

proxy_cache_lock  #是否开启锁机制
#语法格式
proxy_cache_lock on | off;

proxy_cache_lock_timeout #配置锁超时机制,超出规定时间后会释放请求。
#语法格式
proxy_cache_lock_timeout time;

proxy_cache_methods #设置对于那些HTTP方法开启缓存。
#语法格式
proxy_cache_methods method;  #method为请求方法类型,如GET、HEAD等。

proxy_no_cache #设置不存储缓存的条件,符合时不会保存。
#语法格式
proxy_no_cache string...;  #string为条件,如arg_nocache $arg_comment;

proxy_cache_bypass  #设置不读取缓存的条件,符合时不会从缓存中读取。
#语法格式
proxy_cache_bypass string...;  #与上面proxy_no_cache的配置方法类似。

add_header  #配置往响应头中添加字段信息。
#语法格式
add_header fieldName fieldValue;

$upstream_cache_status #记录了缓存是否命中的信息,存在以下多种情况:
MISS:请求未命中缓存。
HIT:请求命中缓存。
EXPIRED:请求命中缓存但缓存已过期。
STALE:请求命中了陈旧缓存。
REVALIDDATED:Nginx验证陈旧缓存依然有效。
UPDATING:命中的缓存内容陈旧,但正在更新缓存。
BYPASS:响应结果是从原始服务器获取的。
#注:这是一个Nginx内置变量,与上面的参数不同。

下面是一个配置实例

代码语言:javascript
复制
server{  
        location / {  
            # 使用名为nginx_cache的缓存空间  
            proxy_cache hot_cache;  
            # 对于200、206、304、301、302状态码的数据缓存1天  
            proxy_cache_valid 200 206 304 301 302 1d;  
            # 对于其他状态的数据缓存30分钟  
            proxy_cache_valid any 30m;  
            # 定义生成缓存键的规则(请求的url+参数作为key)  
            proxy_cache_key $host$uri$is_args$args;  
            # 资源至少被重复访问三次后再加入缓存  
            proxy_cache_min_uses 3;  
            # 出现重复请求时,只让一个去后端读数据,其他的从缓存中读取  
            proxy_cache_lock on;  
            # 上面的锁超时时间为3s,超过3s未获取数据,其他请求直接去后端  
            proxy_cache_lock_timeout 3s;  
            # 对于请求参数或cookie中声明了不缓存的数据,不再加入缓存  
            proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;  
            # 在响应头中添加一个缓存是否命中的状态(便于调试)  
            add_header Cache-status $upstream_cache_status;  
        }  
模块化设计

Nginx 的模块化设计使得它能够根据需求选择和加载不同的模块,以支持各种功能,如日志记录、身份验证等。这种设计灵活性高,便于扩展和维护。

Nginx 的模块主要包括核心模块、标准HTTP模块、可选HTTP模块、邮件服务模块和第三方模块等。这些模块通过事件驱动模型和非阻塞I/O等技术手段,实现了高效地处理大量的并发连接,支持百万级别的并发访问。

Nginx 这种模块化设计使得它可以根据不同的需求去加载不同的模块,从而去支持各种不同的功能,这个设计非常灵活,且便于扩展与维护。

核心模块是Nginx的基础部分,主要实现了底层的自身的一部分通讯协议,也为其他的一些模块和Nginx的进程等内容提供了一个运行时的环境。标准HTTP模块是核心中的一部分,负责定义除配置模块之外的其他模块。可选HTTP模块则提供了更多高级功能,如负载均衡、SSL加密等。邮件服务模块则与邮件相关。第三方模块则是一些由第三方提供的模块,可以扩展Nginx的功能。

总的来说,Nginx 的模块化设计是其高性能、高并发能力的关键因素之一。

代理机制

Nginx 作为反向代理服务器使用时,会接收客户端的请求并转发给后端服务器处理。通过代理机制,Nginx能够实现请求的转发、负载均衡、缓存等功能,提高了处理性能和并发能力。

相关的介绍文章可以参考: 以下是一个基本的配置示例:

代码语言:javascript
复制
http {
.............
    upstream product_server{
        127.0.0.1:8081;
    }

    upstream admin_server{
        127.0.0.1:8082;
    }

    upstream test_server{
        127.0.0.1:8083;
    }

server {
      
  #默认指向product的server
  location / {
      proxy_pass http://product_server;
      }

  location /product/{
      proxy_pass http://product_server;
     }

  location /admin/ {
      proxy_pass http://admin_server;
     }

  location /test/ {
      proxy_pass http://test_server;
      }
    }
}

Nginx通过这些优秀的技术设计,然后将这些技术手段在 Nginx 中广泛应用,使得 Nginx 能够高效地处理大量的并发连接,我们在实际应用中,可以通过合理的配置 Nginx,来提高与优化其性能,进一步提高并发处理能力,从而去支持百万级别的并发访问。

注:图片均来自于网络素材,版权归原作者所有,本文只作分享技术使用。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2024-03-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 民工哥技术之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 什么是 Nginx?
  • Nginx 架构
  • Nginx 是如何支持百万并发?
    • 主进程与工作进程
      • 事件驱动模型
        • 非阻塞IO
          • 内存管理
            • 负载均衡
              • 缓存
                • 模块化设计
                  • 代理机制
                  相关产品与服务
                  负载均衡
                  负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
                  领券
                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档