图解 Unicorn 工作原理

我很早之前，就是通过这篇文章搞懂了 Python Web 应用服务器是个什么鬼，虽然本文讲的是 Ruby 的 Web 应用服务器，但原理是通的所以翻出来推荐给大家，下面是正文。

什么是 Unicorn

Unicorn 是 Ruby Web 应用中的一款应用服务器，提供两个功能：

• 为 Rack 应用（使用 Ruby 编程语言开发的 Web 服务器和 Web 应用程序之间的模块化接口）提供 HTTP 服务能力
• 为 Web 应用实现高并发能力

注：Python 也有类似功能的应用服务器：Gunicorn 就是从 Unicorn 移植的 pre-fork worker 模型，推荐 Python 程序员阅读本文。

Unicorn 工作在 Web 的应用层，直接调用后端 Handler 处理请求。

如何工作

提供 HTTP 服务功能：

• 监听端口，接收 HTTP 请求
• 解析 HTTP 请求，调用应用处理请求
• 将处理结果返回

通过多进程提供高并发能力。由于 Ruby 全局解释锁阻碍的同一进程中的线程并行执行，Ruby 应用中的高并发必须通过多进程实现。

线程中如果有 IO 操作时，GIL 会自动释放，所以在线程中有 IO 操作的情况下，同一进程中的多个线程可以实现近似的并行执行。

通过 Master-Workers 进程结构提供服务：

• 一个 Master，管理 Worker 进程，处理外部信号，不处理请求
• 多个 Worker 进程，处理实际的请求，彼此独立

此结构和 Nginx 多进程模式一致。Master 作为劳心者，不处理实际的事务，只做顶层调度。Workers 作为劳力者，只处理实际的请求，受制于 Master。

请求处理过程

通过上图总结如下：

• Master 监听端口，Fork 子进程 (也可以通过 sparn)
• 子进程通过 select && accept 调用获取连接
• 子进程读 socket 数据，调用 Rack App，再将结果回写 socket

另外：

• 通过 kgio 实现非阻塞系统调用
• 通过 C 扩展实现高速 HTTP 协议解析

IO 模型

由上图可以看出 unicorn 的 IO 模型有如下特点：

• IO 低效，阻塞（宏观视角，本身使用非阻塞调用）
• 一个进程同时只能处理一个请求，吞吐量低下
• 在 socket 读写或数据库查询等等 IO 操作时，进程空闲，资源浪费
• 无法处理慢 IO，需要前置 Nginx

如何管理进程

Master

• 杀掉超时的子进程
• 维持子进程数量

Worker

• 检测 Master，同生共死，代码
• 接收 Master 的指令

通信方式：

• pipe
• raindrops (共享数据)

如何平滑重启

平滑关键点在于：

• 通过环境变量传递监听的 socket
• 设置监听 socket close_on_exec，让操作系统保留监听 socket

unicorn-killer 的代码

def process_client(client)
  super(client) # Unicorn::HttpServer#process_client
  return if @_worker_memory_limit_min == 0 && @_worker_memory_limit_max == 0
  @_worker_process_start ||= Time.now
  @_worker_memory_limit ||= @_worker_memory_limit_min + randomize(@_worker_memory_limit_max - @_worker_memory_limit_min + 1)
  @_worker_check_count += 1
  if @_worker_check_count % @_worker_check_cycle == 0
    rss = GetProcessMem.new.bytes
    logger.info "#{self}: worker (pid: #{Process.pid}) using #{rss} bytes." if @_verbose
    if rss > @_worker_memory_limit
      logger.warn "#{self}: worker (pid: #{Process.pid}) exceeds memory limit (#{rss} bytes > #{@_worker_memory_limit} bytes)"
      Unicorn::WorkerKiller.kill_self(logger, @_worker_process_start) # 关键点
    end
    @_worker_check_count = 0
  end
end

通过 hack process_client 方法，在请求处理完后，检测进程内存消耗等参数，操作阈值，则将自己干掉，Master 会自动起新的 Worker 进程。

- END -