Tomcat shutdown执行后无法退出进程问题排查及解决

问题定位及排查

上周无意中调试程序在Linux上ps -ef|grep tomcat发现有许多tomcat的进程,当时因为没有影响系统运行就没当回事。而且我内心总觉得这可能是tomcat像nginx一样启动多个进程。

后来测试在一次升级后反馈说怎么现在tomcat进程无法shutdown?这让我有点意外,看来这个问题并没有这么简单。于是开始思考问题会出在哪里。

复现问题

先是另外一台服务器部署,然后shutdown后再ps进程是空的,这说明tomcat不会自动产生新的进程。那就有可能系统代码出了什么问题吧?最近另一个位同事有比较多的修改,可能是因为这些修改吧。光猜想也找不到问题,只好用jvisuale来看一下系统的dump,发现shutdown之后进程没有退出,而且里面有许多线程还在运行,有些还是线程池。

看来是有线程没有释放导致的泄露吧?于是用tail命令打开catalina.out查看最后shutdown.sh,在控制台输出了下面这些内容:

Nov 28, 2016 10:41:08 AM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads
SEVERE: The web application [/] appears to have started a thread named [Component socket reader] but has failed to stop it. This is very likely to create a memory leak.

确实有许多的线程没有关闭,在关闭时还提示了泄漏。从这些线程的名字可以确认了,是这近新增了一个openfire的whack外部组件导致的。这个whack可以连接到openfire服务器,实现一套扩展组件服务的功能,我们主要用来发送IM消息。这样做的好处是开启线程数少,效率高,并发性能很不错。

查看代码

先看一下ExternalComponentManager的实现,因为它是用来外部扩展组件的管理者,我们的操作基本是根据它来完成的。

下面的代码便是是创建一个ExternalComponentManager,并且设置参数同时连接到服务器。

private void CreateMessageSender() {
    manager = new ExternalComponentManager(configHelper.getOpenfireHost(),
            configHelper.getOpenfireExternalCompPort());
    manager.setSecretKey(SENDER_NAME, configHelper.getOpenfirePwd());
    manager.setMultipleAllowed(SENDER_NAME, true);
    try {
        msc = new MessageSenderComponent("senderComponent", manager.getServerName());
        manager.addComponent(SENDER_NAME, msc);
    } catch (ComponentException e) {
        logger.error("CreateMessageSender error.", e);
    }
}

那么最重要的是在哪里启动了线程?毕竟最终影响系统的是线程没有关闭。所以沿着addComponent这调用看看吧:

public void addComponent(String subdomain, Component component, Integer port) throws ComponentException {
    if (componentsByDomain.containsKey(subdomain)) {
        if (componentsByDomain.get(subdomain).getComponent() == component) {
            // Do nothing since the component has already been registered
            return;
        }
        else {
            throw new IllegalArgumentException("Subdomain already in use by another component");
        }
    }
    // Create a wrapping ExternalComponent on the component
    ExternalComponent externalComponent = new ExternalComponent(component, this);
    try {
        // Register the new component
        componentsByDomain.put(subdomain, externalComponent);
        components.put(component, externalComponent);
        // Ask the ExternalComponent to connect with the remote server
        externalComponent.connect(host, port, subdomain);
        // Initialize the component
        JID componentJID = new JID(null, externalComponent.getDomain(), null);
        externalComponent.initialize(componentJID, this);
    }
    catch (ComponentException e) {
        // Unregister the new component
        componentsByDomain.remove(subdomain);
        components.remove(component);
        // Re-throw the exception
        throw e;
    }
    // Ask the external component to start processing incoming packets
    externalComponent.start();
}

代码也比较简单,就是创建了一个wapper类ExternalComponent将我们自己的Component包装了一下。其中最为重要的是最后一句:externalComponent.start();

public void start() {
    // Everything went fine so start reading packets from the server
    readerThread = new SocketReadThread(this, reader);
    readerThread.setDaemon(true);
    readerThread.start();
    // Notify the component that it will be notified of new received packets
    component.start();
}

原来这里启动了一个读取线程,用于接收Openfire服务器发来的数据流。查看线程构造函数:

public SocketReadThread(ExternalComponent component, XPPPacketReader reader) {
    super("Component socket reader");
    this.component = component;
    this.reader = reader;
}

可以看到,这个线程的名字是“Component socket reader”,在前面的日志里确实有这个线程。

解决问题

那么接下来的主要问题是如何关闭这个SocketReadThread,按理说会有相应的实现,发现externalComponent.start()这个方法有名字叫star,那么是不是有与其匹配的方法呢?确实有的一个shutdown的方法:

public void shutdown() {
    shutdown = true;
    // Notify the component to shutdown
    component.shutdown();
    disconnect();
}

原来这里调用了component.shutdown();最后还调用了一个disconnect,继续看代码:

private void disconnect() {
    if (readerThread != null) {
        readerThread.shutdown();
    }
    threadPool.shutdown();
    TaskEngine.getInstance().cancelScheduledTask(keepAliveTask);
    TaskEngine.getInstance().cancelScheduledTask(timeoutTask);
    if (socket != null && !socket.isClosed()) {
        try {
            synchronized (writer) {
                try {
                    writer.write("</stream:stream>");
                    xmlSerializer.flush();
                }
                catch (IOException e) {
                    // Do nothing
                }
            }
        }
        catch (Exception e) {
            // Do nothing
        }
        try {
            socket.close();
        }
        catch (Exception e) {
            manager.getLog().error(e);
        }
    }
}

发现这里就有了线程shutdown的调用,OK,说明就是它了。

因为最外层代码使用的是ExternalComponentManager,那么在ExternalComponentManager中调用了ExternalComponent shutdown的方法是removeComponent,那么就是它了。

也就是说只要在最后应用关闭时调用removeComponent方法就可以释放线程资源。这里当然就可以借助ServletContextListener来完成咯。

public class MessageSenderServletContextListener implements ServletContextListener{
    private final static Logger logger = LoggerFactory
            .getLogger(MessageSenderServletContextListener.class);

    @Override
    public void contextInitialized(ServletContextEvent sce) {
        logger.debug("contextInitialized is run.");
    }

    @Override
    public void contextDestroyed(ServletContextEvent sce) {
        logger.debug("contextDestroyed is run.");
        MessageSender msgSender = SpringUtil.getBean(MessageSender.class);
        try {
            msgSender.shutdown();
            logger.debug("MessageSender is shutdown.");
        } catch (ComponentException e) {
            logger.error(e.getMessage());
        }
    }

}

实现contextDestroyed方法,从spring中获得MessageSender类,调用shutdown释放资源即可。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

设计Go API的管道使用原则

管道是并发安全的队列,用于在Go的轻量级线程(Go协程)之间安全地传递消息。总的来讲,这些原语是Go语言中最为称道的特色功能之一。这种消息传递范式使得开发者可以...

3696
来自专栏kl的专栏

Apollo应用之动态调整线上数据源(DataSource)

博主之前写过使用apollo的配置动态推送能力来动态修改线上环境的日志输出级别,具体可见《spring boot动态调整线上日志级别》,今天来实现一个类似的应用...

5897
来自专栏张善友的专栏

[腾讯社区开放平台]介绍开放授权协议-OAuth

OAuth (开放授权) 是一个开放标准,允许用户授权第三方网站访问他们存储在另外的服务提供者上的信息,而不需要将用户名和密码提供给第三方网站或分享他们数据的所...

2487
来自专栏微信公众号:Java团长

Java线程的5个使用技巧

萝卜白菜各有所爱。像我就喜欢Java。学无止境,这也是我喜欢它的一个原因。日常工作中你所用到的工具,通常都有些你从来没有了解过的东西,比方说某个方法或者是一些有...

822
来自专栏Kirito的技术分享

从Spring Session源码看Session机制的实现细节

去年我曾经写过几篇和 Spring Session 相关的文章,从一个未接触过 Spring Session 的初学者视角介绍了 Spring Session ...

61212
来自专栏*坤的Blog

公司国际化笔记

1694
来自专栏技术博文

Memcached 及 Redis 架构分析和比较

Memcached和Redis作为两种Inmemory的key-value数据库,在设计和思想方面有着很多共通的地方,功能和应用方面在很多场合下(作为分布式缓存...

3193
来自专栏java思维导图

Java中高级面试题部分答案解析(4)

这里选了几道高频面试题以及一些解答。不一定全部正确,有一些是没有固定答案的,如果发现有错误的欢迎纠正,如果有更好的回答,热烈欢迎留言探讨。

1253
来自专栏zhisheng

RESTful API 设计规范

该仓库整理了目前比较流行的 RESTful api 设计规范,为了方便讨论规范带来的问题及争议,现把该文档托管于 Github,欢迎大家补充!!

2763
来自专栏熊二哥

JavaWeb快速入门

孙卫琴老师的javaweb一书已经买了很多年,由于很厚一直也没有去好好阅读下, 项目发布后有闲暇时间,决定快速学习了,毕竟很多概念和知识主要还是复习。 ? 对...

2965

扫码关注云+社区

领取腾讯云代金券