曹工说Tomcat：200个http-nio-8080线程全都被第三方服务拖住了，这可如何是好（上：线程模型解析）

低级知识传播者

发布于 2021-09-23 15:32:56

2K0

发布于 2021-09-23 15:32:56

文章被收录于专栏：低级Java知识传播者

前言

这两年，tomcat慢慢在新项目里不怎么接触了，因为都被spring boot之类的框架封装进了内部，成了内置server，不用像过去那样打个war包，再放到tomcat里部署了。

但是，内部的机制我们还是有必要了解的，尤其是线程模型和classloader，这篇我们会聚焦线程模型。

其实我本打算将一个问题，即大家知道，我们平时最终写的controller、service那些业务代码，最终是由什么线程来执行的呢？

大家都是debug过的人，肯定知道，线程名称大概如下：

http-nio-8080-exec-2@5076

这个线程是tomcat的线程，假设，我们在这个线程里，sleep个1分钟，模拟调用第三方服务时，第三方服务异常卡住不返回的情况，此时客户端每秒100个请求过来，此时整个程序会出现什么情况？

但是我发现，这个问题，一篇还是讲不太清楚，因此，本篇只讲一下线程模型。

主要线程模型简介

大家可以思考下，一个服务端程序，有哪些是肯定需要的？

我们肯定需要开启监听对吧，大家看看下面的bio程序：

这个就是个线程，在while(true)死循环里，一直accept客户端连接。

ok，这个线程肯定是需要的。接下来，再看看还是否需要其他的线程。

如果一切从简，我们只用这1个线程也足够了，就像redis一样，redis都是内存操作，做啥都很快，还避免了线程切换的开销；

但是我们的java后端，一般都要操作数据库的，这个是比较慢，自然是希望把这部分工作能够交给单独的线程去做，在tomcat里，确实是这样的，交给了一个线程池，线程池里的线程，就是我们平时看到的，名称类似http-nio-8080-exec-2@5076这样的，一般默认配置，最大200个线程。

但如果这样的话，1个acceptor + 一个业务线程池，会导致一个问题，就是，该acceptor既要负责新连接的接入，还要负责已接入连接的socket的io读写。假设我们维护了10万个连接，这10万个连接都在不断地给我们的服务端发数据，我们服务端也在不停地给客户端返回数据，那这个工作还是很繁重的，可能会压垮这个唯一的acceptor线程。

因此，理想情况下，我们会在单独弄几个线程出来，负责已经接入的连接的io读写。

大体流程：

acceptor--->poller线程(负责已接入连接的io读写)-->业务线程池(http-nio-8080-exec-2@5076)

这个大概就是tomcat中的流程了。

在netty中，其实是类似的:

boss eventloop--->worker eventloop-->一般在解码完成后的最后一个handler，交给自定义业务线程池

tomcat如何接入新连接

大家可以看看下图，这里面有几个橙色的方块，这几个代表了线程，从左到右，分别就是acceptor、nio线程池、poller线程。

1处，acceptor线程内部维护了一个endpoint对象，这个对象呢，就代表了1个服务端端点；该对象有几个实现类，如下：

我们spring boot程序里，默认是用的NioEndpoint。

2处，将新连接交给NioEndpoint处理

@Override
    protected boolean setSocketOptions(SocketChannel socket) {
        // Process the connection
        try {
            // Disable blocking, polling will be used
            socket.configureBlocking(false);
            Socket sock = socket.socket();
            socketProperties.setProperties(sock);
            // 进行一些socket的参数设置
            NioSocketWrapper socketWrapper = new NioSocketWrapper(channel, this);
            channel.setSocketWrapper(socketWrapper);
            socketWrapper.setReadTimeout(getConnectionTimeout());
            socketWrapper.setWriteTimeout(getConnectionTimeout());
            //3 交给poller处理
            poller.register(channel, socketWrapper);
            return true;
        }
   ...
        // Tell to close the socket
        return false;
    }

3处，就是交给NioEndpoint内部的poller对象去进行处理。

        public void register(final NioChannel socket, final NioSocketWrapper socketWrapper) {
            socketWrapper.interestOps(SelectionKey.OP_READ);//this is what OP_REGISTER turns into.
            PollerEvent r = null;
            // 丢到poller的队列里，poller线程会轮旋该队列
            r = new PollerEvent(socket, OP_REGISTER);
            // 丢到队列里
            addEvent(r);
        }

上面的addEvent值得一看。

private final SynchronizedQueue<PollerEvent> events =
                new SynchronizedQueue<>();
        
private void addEvent(PollerEvent event) {
    // 丢到队列里
    events.offer(event);
    // 唤醒poller里的selector，及时将该socket注册到selector中
    if (wakeupCounter.incrementAndGet() == 0) {
        selector.wakeup();
    }
 }

到这里，acceptor线程的逻辑就结束了，一个异步放队列，完美收工。接下来，就是poller线程的工作了。

poller线程，要负责将该socket注册到selector里面去，然后还要负责该socket的io读写事件处理。

poller线程逻辑

    public class Poller implements Runnable {

        private Selector selector;
        private final SynchronizedQueue<PollerEvent> events =
                new SynchronizedQueue<>();

可以看到，poller内部维护了一个selector，和一个队列，队列里也说了，主要是要新注册到selector的新socket。

既然丢到队列了，那我们看看什么时候去队列取的呢？

  @Override
        public void run() {
            // Loop until destroy() is called
            while (true) {

                boolean hasEvents = false;
                // 检查events
                hasEvents = events();

这里我们跟一下events()。

public boolean events() {
    boolean result = false;

    PollerEvent pe = null;
    for (int i = 0, size = events.size(); i < size && (pe = events.poll()) != null; i++ ) {
        result = true;
        pe.run();
        ...
    }

    return result;
}

这里的

pe = events.poll()

就是去队列拉取事件，拉取到了之后，就会赋值给pe，然后下面就调用了pe.run方法。

pe的类型是PollerEvent，我们看看其run方法会干啥？

  @Override
        public void run() {
            if (interestOps == OP_REGISTER) {
                try { socket.getIOChannel().register(socket.getSocketWrapper().getPoller().getSelector(), SelectionKey.OP_READ, socket.getSocketWrapper());
                } catch (Exception x) {
                    log.error(sm.getString("endpoint.nio.registerFail"), x);
                }
            }

这个方法难理解吗，看着有点吓人，其实就是把这个新的连接，向selector注册，感兴趣的io事件为OP_READ。后续呢，这个连接的io读写，就全由本poller的selector包了。

tomcat如何处理客户端读事件

我们说了，poller是个线程，在其runnable实现里，除了要处理上面的新连接注册到selector这个事，还要负责io读写，这部分逻辑就是在：

  Iterator<SelectionKey> iterator=selector.selectedKeys().iterator();
  while (iterator != null && iterator.hasNext()) {
   SelectionKey sk = iterator.next();
   NioSocketWrapper socketWrapper = sk.attachment();
   processKey(sk, socketWrapper);
  }

最后一行的processKey，会调用如下逻辑，将工作甩锅给http-nio-8080-exec-2@5076这类打杂的线程。

public boolean processSocket(SocketWrapperBase<S> socketWrapper,SocketEvent event, boolean dispatch) {
  Executor executor = getExecutor();
  executor.execute(sc);
        return true;
}

给个图的话，大概就是如下的红线流程部分了：