NodeJs内存管理

本文作者:ivweb 王少飞 原文出处:IVWEB社区

nodejs进程内存的使用和原理

V8简介

nodejs代码的运行基于V8,就像java运行需要hotspot,php运行需要zend。V8的由来是,当年web2.0,google的很多业务都在web端,为了提升浏览器中js的执行效率,研发了V8。

V8每发布一个新的版本,nodejs就会相应的发布新版本来使用新版本的V8。

nodejs9以后的版本都是使用的V8 6.2版本。这个版本都有哪些改进:

1 性能优化

  • 1)优化了Object.prototype.toString 的性能,比之前提升了6.5倍
  • 2)优化了 ES2015 proxies 的性能, 比之前提升了5倍
  • 3)优化了 String#includes()的性能,比之前提升了3倍
  • 4)哈希查找速度更快,从而提高了Map,Set,WeakMap和WeakSet的性能
  • 5)新生代内存垃圾回收采用 Parallel Scavenger算法 2 低内存模式:semi-space为512k,低内存设备减少了发生内存不足的概率。 3 优化正则表达式规则
  • 1)支持 dotAll 模式, s匹配模式下,.可以匹配任何字符,包括转义字符
  • 2)支持 正向后瞻和负向后瞻 4 字符串的最大长度增加,从 2**28 - 16 增加到 2**30 - 25

内存限制

V8限制了nodejs每个进程的最大内存:64系统1.4G,32位系统0.7G, 这个大小的限制在chrome里面已经够用了,但在服务端nodejs感觉可能不够用。 为什么这样限制? 如果内存超过1.5G时 做一次全量垃圾回收,耗时在1秒左右,这1秒时间内,进程是暂停执行的,对于高平发,高流量的服务影响会很大。

nodejs进程内存的垃圾回收和内存泄漏

V8的GC原理

nodejs进程使用的内存主要在堆(heap)中, 垃圾回收采用分代式,分为新生代和老生代。 新生代中保存存活时间较短的对象,老生代中保存存活时间较长或常驻内存的对象。 新生代通过Parallel Scavenge算法进行垃圾回收,即并行的多线程,复制算法垃圾收集器。 原理是:将堆内存一分为二,每一部分空间称为semispace。在两个semispace空间中,只有一个处于使用状态,另一个处于闲置状态。处于使用状态的semispace空间称为from,处于限制状态的空间称为to空间。

当我们分配对象时,先是在from空间中进行分配。当from空间不够用时就处罚一次新生代的垃圾回收,此时会检查from中的存活对象,并复制到to空间中,非存活的对象会被释放。完成该复制操作后,from空间和to空间互换。此时完成新生代堆内存的一次垃圾回收。

当一个对象经过多次复制依然存活,那么它将被放到老生代内存中。

老生代内存垃圾回收采用 Mark-sweep(标记清除)和Mark-Compact(标记整理), 并进行增量式垃圾回收。 和分代时垃圾回收相比,前者的空间利用率高,但效率低,由于老生代堆内存较大,一次垃圾回收会导致进程暂停时间很长,所以不会经常进行老生代垃圾回收。

实际编码中由于对变量作用域或闭包等使用不当,很可能造成内存的泄漏。在浏览器中由于页面一般情况下只加载一次,或只停留较短的时间,就算有内存泄漏也不会造成很大影响。但在服务端,就算只有一个字节的泄漏,在大量请求和高并发的请求下,泄漏会被放大,随着服务的运行时间越来越长,进程的内存占满,导致内存不足进程退出,就会会对服务器造成很大的影响。

内存泄漏和检测

nodejs内存泄漏检测工具很多,例如:v8-profiler、node-heapdump、node-mtrace、dtrace、memwatch-nenxt。 拿 memwatch-next 举例,使用方法如下:

1 安装 npm i memwatch-next 2 项目代码中:

const memwatch = require('memwatch-next');
memwatch.on('leak', info => {
    reportLogFun(`[leak-${process.pid}]${JSON.stringify(info)}`)
})

memwatch.on('stats', stats => {
    reportLogFun(`[stats-${process.pid}]${JSON.stringify(stats)}`)
})

const md = new memwatch.HeapDiff();
    // .... 业务逻辑代码
const diff = md.end();
reportLogFun(JSON.stringify(diff));

3 收集上报结果 status事件的触发条件是:进行全堆垃圾回收

[stats-3974]{"num_full_gc":16,"num_inc_gc":67155,"heap_compactions":16,"usage_trend":0.1,"estimated_base":7547592,"current_base":7577952,"min":7032208,"max":7610240}

上面的日志表示:进行了16次全堆垃圾回收,进行了67155次增量垃圾回收,进行了16次老生代堆内存整理。

leak时间的触发条件是:进行5次全堆垃圾回收后,内存没有得到释放,产生内存泄漏。

[leak-3974]{"growth":268816,"reason":"heap growth over 5 consecutive GCs (8h 52m 2s) - 29.6 kb/hr"}

上面的日志表示:进行了5次全堆垃圾回收后内存增长了268816 bytes,每小时增加29.6 kb。

diff数据暂时没有收集到数据,根据官方的介绍

意思是,从md初始化开始,到md.end()这段时间内,内存增加了多少,change>details 就是需要关注的内容,增加的最多的就是内存泄漏所在。

参考文献

https://v8project.blogspot.com/2017/09/v8-release-62.html https://bugs.chromium.org/p/chromium/issues/detail?id=738865 http://www.jianshu.com/p/4129a3fce7bb http://book.51cto.com/art/201107/278917.htm https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Proxy https://tc39.github.io/proposal-template-literal-revision/ https://ponyfoo.com/articles/investigating-performance-object-prototype-to-string-es2015 https://zhuanlan.zhihu.com/p/27509546

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java 成神之路

Hystrix 服务降级-后备模式 实现思路

Hystrix 提供了服务降级功能。 有些场景下当调用服务失败时,不应该产生一个Exception 异常给用户。而是采用执行备用策略。

701
来自专栏java一日一条

JVM 必备指南

Java虚拟机(JVM)是Java应用的运行环境,从一般意义上来讲,JVM是通过规范来定义的一个虚拟的计算机,被设计用来解释执行从Java源码编译而来的字节码。...

342
来自专栏Golang语言社区

go写并发注意事项

写go语言并发需要注意的几点: 1. golang 1.2版本 goroutine的runtime.GOMAXPROCS 如果没有被定义,默认是1,从1.5之后...

2865
来自专栏扎心了老铁

分布式锁的实现(redis)

1、单机锁 考虑在并发场景并且存在竞态的状况下,我们就要实现同步机制了,最简单的同步机制就是加锁。 加锁可以帮我们锁住资源,如内存中的变量,或者锁住临界区(线程...

3176
来自专栏专注数据中心高性能网络技术研发

关于eventfd,epoll,线程间通信小记

先介绍eventfd 1 #include<sys/eventfd.h> 2 int eventfd(unsigned int initval, int fla...

2937
来自专栏你不就像风一样

深入理解[Master-Worker模式]原理与技术

Master-Worker模式是常用的并行模式之一。它的核心思想是,系统由两类进程协作工作:Master进程和Worker进程。Master进程负责接收和分配任...

605
来自专栏我叫刘半仙

【JDK并发包基础】并发容器详解

      Java.util.concurrent 包是专为 Java并发编程而设计的包,它下有很多编写好的工具,使用这些更高等的同步工具来编写代码,让我们的...

3348
来自专栏Golang语言社区

go写并发注意事项

写go语言并发需要注意的几点: 1. golang 1.2版本 goroutine的runtime.GOMAXPROCS 如果没有被定义,默认是1,从1.5之后...

3348
来自专栏Golang语言社区

运行时调度程序(go runtime scheduler)

Goroutine的引入是为了方便高并发程序的编写。 一个Goroutine在进行阻塞操作(比如系统调用)时,会把当前线程中的其他Goroutin...

682
来自专栏芋道源码1024

Java中高级面试题(4)

这里选了几道高频面试题以及一些解答。不一定全部正确,有一些是没有固定答案的,如果发现有错误的欢迎纠正,如果有更好的回答,热烈欢迎留言探讨。

950

扫码关注云+社区