线上问题解决：java的CPU100%问题分析，定位及解决

IT架构圈

发布于 2021-03-18 14:51:11

9000

发布于 2021-03-18 14:51:11

文章被收录于专栏：IT架构圈

一起探讨下，线上问题的处理思路。

问题合集

① 请求一个API接口返回json数据，慢请求

发送请求后，返回非常的慢。之前很快，突然变慢了。如何去分析，在公司经常出来问题，这个代码可能都不是你开发的。

测试工具模拟多个用户请求。
jcmd查看哪些程序在运行PID。
jstack PID
对于慢查询，线程的快照中可能残留，线程执行的内存。执行的栈，调用链路，很久没有执行完，这个线程执行需要一定的时间，如果查看到多个代码段执行的频次比较高，这些代码就比较可疑。线程执行的时候有个时间跨度，这个时间跨度，也比较可疑，也就是执行一段代码的时间比较长。
找到对应的package包，找到指定的行。
感觉网络有问题，可以通过ping，或者curl请求下指定接口，看看反应时间。

有老铁活可以通过 JvisualVM 查看，但是生产环境一般都不让开发人员直接操作的，中间可能存在跳板机。可以通过windows的跳板机来查看JVM的情况。

② 死锁的情况

示例

// 死锁
public class Cpu100Demo2 {
    public static String obj1 = "obj1";
    public static String obj2 = "obj2";

    public static void main(String[] args) {
        // 处理用户请求时，出现了死锁。用户无响应，多次重试，大量资源被占用（）
        Thread a = new Thread(new Lock1());
        Thread b = new Thread(new Lock2());
        a.start();
        b.start();
    }
}

class Lock1 implements Runnable {
    @Override
    public void run() {
        try {
            System.out.println("Lock1 running");
            while (true) {
                synchronized (Cpu100Demo2.obj1) {
                    System.out.println("Lock1 lock obj1");
                    Thread.sleep(3000);//获取obj1后先等一会儿，让Lock2有足够的时间锁住obj2
                    synchronized (Cpu100Demo2.obj2) {
                        System.out.println("Lock1 lock obj2");
                    }
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

class Lock2 implements Runnable {
    @Override
    public void run() {
        try {
            System.out.println("Lock2 running");
            while (true) {
                synchronized (Cpu100Demo2.obj2) {
                    System.out.println("Lock2 lock obj2");
                    Thread.sleep(3000);
                    synchronized (Cpu100Demo2.obj1) {
                        System.out.println("Lock2 lock obj1");
                    }
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

如何分析，比第一个例子相对简单，其实打印的tack已经展示了问题。

③ 多线程wait

示例

// 活锁
public class Cpu100Demo3 {
    /**
     * 包子店
     */
    public static Object baozidian = null;

    /**
     * 会导致程序永久等待的wait/notify
     */
    public void waitNotifyDeadLockTest() throws Exception {
        // 启动消费者线程
        new Thread(() -> {
            if (baozidian == null) { // 如果没包子，则进入等待
                try {
                    Thread.sleep(5000L);
                } catch (InterruptedException e1) {
                    e1.printStackTrace();
                }
                synchronized (this) {
                    try {
                        System.out.println("1、进入等待，线程ID为：" + Thread.currentThread().getId());
                        this.wait(); // 多次查看
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            }
            System.out.println("2、买到包子，回家");
        }).start();
        // 3秒之后，生产一个包子
        Thread.sleep(3000L);
        baozidian = new Object();
        synchronized (this) {
            this.notifyAll();
            System.out.println("3、通知消费者");
        }
    }

    public static void main(String[] args) throws Exception {
        new Cpu100Demo3().waitNotifyDeadLockTest();
    }
}

④ 线程过多

一个系统很多的功能，其实在运行的过程中，热点代码不是特别多的，线程过多的情况，一般是机器配置不行，解决不了大量的过来的请求导致的。查看CPU情况，网络连接数情况，在上线之初，4核8G容纳500个并发没有问题。先看网络连接，这就是基本所有互联网大型公司都有网络监控这块，

netstat -nat | grep -i '8080' | wc -l

示例

import java.util.Random;

// 线程过多导致的问题(jstack定位)
public class Cpu100Demo4 {
    // 资源：每一个请求,业务执行需要占用多少资源，CPU * 1--> 增加资源。
    // 线程池，控制线程数量，升级更高的配置
    public static void main(String[] args) throws InterruptedException {
        for (int i = 0; i < 1000; i++) {
            new Thread(() -> {
                try {
                    int x = 0;
                    for (int j = 0; j < 10000; j++) {
                        x = x + 1;
                        long random = new Random().nextInt(100);
                        Thread.sleep(random); // 模拟c处理耗时
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }).start();
            long random = new Random().nextInt(500);
            Thread.sleep(random); // 模拟接口调用
        }
    }
}

⑤ CPU100%

jcmd找到对应的进程PID。
top -H -p PID 获取到占用CPU最大的那个线程ID。
通过window计算器切换成开发者模式将线程ID 转成16进制的数字转换后就是【0x数字】。
jstack 进程PID > a.log。
搜索a.log中的 nid=【0x数字】就可以定位到代码的位置了。

prinf "%x\n" 26144
#6620

由于单个线程产生死循环的其实很少的，除非你使用了第三方的工具，一般使用了第三方工具的就会产生死循环，否则很难开发人员自杀式的写成直接死循环。掌握上边的使用技巧就可以了。
示例

import java.util.Random;

// 个别线程占用资源过多

public class Cpu100Demo5 {
    public static void main(String[] args) throws InterruptedException {
        new Thread(() -> {
            while (true) {
                new Random().nextInt(100);
            }
        }, "CPU-high").start();
        for (int i = 0; i < 1000; i++) {
            new Thread(() -> {
                try {
                    int x = 0;
                    for (int j = 0; j < 10000; j++) {
                        x = x + 1;
                        long random = new Random().nextInt(100);
                        Thread.sleep(random); // 模拟c处理耗时
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }).start();
            long random = new Random().nextInt(500);
            Thread.sleep(random); // 模拟接口调用
        }
    }
}

⑥ CPU升高

CPU升高，任务处理不过来了，肯定会堆积，堆积的结果，内存也会升高，这是一个相辅相成的。不可能单独抛开一方面不去管，内存和CPU还是有关联关系的。

（二）线上处理问题

CPU
内存
网络
系统日志 tail - f /var/log/messages 很多东西都可以变成系统日志反应出来。
很多买人买的云服务器，内存比较低，可能java进程突然就消失了，其实就是linux本身有个机制，超过内存值的时候就会kill。系统内存块耗尽的时候干掉一些进程
日志文件定时的清理：log4j file，一定要定义规则什么时候删除文件。这个东西真的很致命，一旦满了，程序很容易写满。

PS：一般的生产服务器CPU稳定在80-85以内，不会让资源利用率太高，也不会太低，资源利用率很高的话，留一些剩余的空间，证明你的机器买了那么多可能就是浪费，CPU和内存都是一样的。在高并发的情况，一般都是需要提前做优化，做测试的，往往有时候大家的一些编码习惯导致的出其不意的问题。网络突然慢了，请求慢了，都可以按照这个思路来定位问题。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-03-12，如有侵权请联系 cloudcommunity@tencent.com 删除

编程算法

本文分享自编程坑太多微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

编程算法

登录后参与评论

0 条评论

热度

线上问题解决：java的CPU100%问题分析，定位及解决

线上问题解决：java的CPU100%问题分析，定位及解决

问题合集

（二）线上处理问题

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐