学习
实践
活动
专区
工具
TVP
写文章
专栏首页前端皮小蛋项目构建内存溢出了?看看 Node 内存限制

项目构建内存溢出了?看看 Node 内存限制

背景

在之前的一篇文章中, 我们遇到了一个项目在构建时内存溢出的问题。

当时的解决方案是: 直接调大 node 的内存限制,避免达到内存上限。

今天听同事分享了一个新方法,觉得不错, 特此记录, 顺便分享给大家。

正文

报错示意图:

提示已经很明显:Javascript Heap out of memory.

看到内存溢出这个关键字,我们一般都会考虑到是因为 Node.js 内存不够导致的。

但 Node 进程的内存限制会是多少呢?

在网上查阅了到如下描述:

Currently, by default V8 has a memory limit of 512mb on 32-bit systems, and 1gb on 64-bit systems. The limit can be raised by setting --max-old-space-size to a maximum of ~1gb (32-bit) and ~1.7gb (64-bit), but it is recommended that you split your single process into several workers if you are hitting memory limits.

翻译一下:

当前,默认情况下,V8在32位系统上的内存限制为512mb,在64位系统上的内存限制为1gb。

可以通过将--max-old-space-size设置为最大〜1gb(32位)和〜1.7gb(64位)来提高此限制,但是如果达到内存限制, 建议您将单个进程拆分为多个工作进程

如果你想知道自己电脑的内存限制有多大, 可以直接把内存撑爆, 看报错。

运行如下代码:

// Small program to test the maximum amount of allocations in multiple blocks.
// This script searches for the largest allocation amount.

// Allocate a certain size to test if it can be done.
function alloc (size) {
  const numbers = size / 8;
  const arr = []
  arr.length = numbers; // Simulate allocation of 'size' bytes.
  for (let i = 0; i < numbers; i++) {
    arr[i] = i;
  }
  return arr;
};

// Keep allocations referenced so they aren't garbage collected.
const allocations = []; 

// Allocate successively larger sizes, doubling each time until we hit the limit.
function allocToMax () {
  console.log("Start");

  const field = 'heapUsed';
  const mu = process.memoryUsage();

  console.log(mu);

  const gbStart = mu[field] / 1024 / 1024 / 1024;

  console.log(`Start ${Math.round(gbStart * 100) / 100} GB`);

  let allocationStep = 100 * 1024;

  // Infinite loop
  while (true) {
    // Allocate memory.
    const allocation = alloc(allocationStep);
    // Allocate and keep a reference so the allocated memory isn't garbage collected.
    allocations.push(allocation);
    // Check how much memory is now allocated.
    const mu = process.memoryUsage();
    const gbNow = mu[field] / 1024 / 1024 / 1024;

    console.log(`Allocated since start ${Math.round((gbNow - gbStart) * 100) / 100} GB`);
  }

  // Infinite loop, never get here.
};

allocToMax();

不出意外, 你将喜提如下报错:

我的电脑是 Macbook Pro masOS Catalina 16GB,Node 版本是 v12.16.1,这段代码大概在 1.6 GB 左右内存时候抛出异常。

那我们现在知道 Node Process 确实是有一个内存限制的, 那我们就来增大它的内存限制再试一下。

node --max-old-space-size=6000 来运行这段代码,得到如下结果:

内存达到 4.6G 的时候也溢出了。

你可能会问, node 不是有内存回收吗?这个我们在下面会讲。

使用这个参数:node --max-old-space-size=6000, 我们增加的内存中老生代区域的大小,比较暴力。

就像上文中提到的:如果达到内存限制, 建议您将单个进程拆分为多个工作进程

这个项目是一个 ts 项目,ts 文件的编译是比较占用内存的,如果把这部分独立成一个单独的进程, 情况也会有所改善。

因为 ts-loader 内部调用了 tsc,在使用 ts-loader 时,会使用 tsconfig.js配置文件。

当项目中的代码变的越来越多,体积也越来越庞大时,项目编译时间也随之增加。

这是因为 Typescript 的语义检查器必须在每次重建时检查所有文件

ts-loader 提供了一个 transpileOnly 选项,它默认为 false,我们可以把它设置为 true,这样项目编译时就不会进行类型检查,也不会输出声明文件。

对一下 transpileOnly 分别设置 falsetrue 的项目构建速度对比:

  • 当 transpileOnly 为 false 时,整体构建时间为 4.88s.
  • 当 transpileOnly 为 true 时,整体构建时间为 2.40s.

虽然构建速度提升了,但是有了一个弊端: 打包编译不会进行类型检查

好在官方推荐了这样一个插件, 提供了这样的能力:fork-ts-checker-webpack-plugin

官方示例的使用也非常简单:

const ForkTsCheckerWebpackPlugin = require('fork-ts-checker-webpack-plugin')

module.exports = {
  ...
  plugins: [
    new ForkTsCheckerWebpackPlugin()
  ]
}

在我这个实际的项目中,vue.config.js 修改如下:

configureWebpack: config => {
 // get a reference to the existing ForkTsCheckerWebpackPlugin
 const existingForkTsChecker = config.plugins.filter(
   p => p instanceof ForkTsCheckerWebpackPlugin,
 )[0];

// remove the existing ForkTsCheckerWebpackPlugin
// so that we can replace it with our modified version
 config.plugins = config.plugins.filter(
   p => !(p instanceof ForkTsCheckerWebpackPlugin),
 );

 // copy the options from the original ForkTsCheckerWebpackPlugin
 // instance and add the memoryLimit property
 const forkTsCheckerOptions = existingForkTsChecker.options;
 
 forkTsCheckerOptions.memoryLimit = 4096;
 
 config.plugins.push(new ForkTsCheckerWebpackPlugin(forkTsCheckerOptions));
}

修改之后, 构建就成功了。

关于Node垃圾回收

在 Node.js 里面,V8 自动帮助我们进行垃圾回收, 让我们简单看一下V8中如何处理内存。

一些定义

  • 常驻集大小:是RAM中保存的进程所占用的内存部分,其中包括:
    1. 代码本身
  • stack:包含原始类型和对对象的引用
  • 堆:存储引用类型,例如对象,字符串或闭包
  • 对象的浅层大小:对象本身持有的内存大小
  • 对象的保留大小:删除对象及其相关对象后释放的内存大小

垃圾收集器如何工作

垃圾回收是回收由应用程序不再使用的对象所占用的内存的过程。

通常,内存分配很便宜,而内存池用完时收集起来很昂贵。

如果无法从根节点访问对象,则该对象是垃圾回收的候选对象,因此该对象不会被根对象或任何其他活动对象引用。

根对象可以是全局对象,DOM元素或局部变量。

堆有两个主要组成部分,即 New SpaceOld Space

新空间是进行新分配的地方。

在这里收集垃圾的速度很快,大小约为1-8MB

留存在新空间中的物体被称为新生代

在新空间中幸存下来的物体被提升的旧空间-它们被称为老生代

旧空间中的分配速度很快,但是收集费用很高,因此很少执行。

Node 垃圾回收

Why is garbage collection expensive?

The V8 JavaScript engine employs a stop-the-world garbage collector mechanism.

In practice, it means that the program stops execution while garbage collection is in progress.

通常,约20%的年轻一代可以存活到老一代,旧空间的收集工作将在耗尽后才开始。

为此,V8引擎使用两种不同的收集算法

  1. Scavenge: 速度很快,可在新生代上运行,
  2. Mark-Sweep: 速度较慢,并且可以在老生代上运行。

篇幅有限,关于v8垃圾回收的更多信息,可以参考如下文章:

  1. http://jayconrod.com/posts/55/a-tour-of-v8-garbage-collection
  2. https://juejin.cn/post/6844903878928891911
  3. https://juejin.cn/post/6844903859089866760

总结

小小总结一下,上文介绍了两种方式:

  1. 直接加大内存,使用: node --max-old-space-size=4096
  2. 把一些耗内存进程独立出去, 使用了一个插件: fork-ts-checker-webpack-plugin

希望大家留个印象, 记得这两种方式。

好了, 内容就这么多, 谢谢。

相关资料

  1. https://www.cloudbees.com/blog/understanding-garbage-collection-in-node-js/
  2. http://jayconrod.com/posts/55/a-tour-of-v8-garbage-collection
  3. https://blog.risingstack.com/finding-a-memory-leak-in-node-js/
文章分享自微信公众号:
前端皮小蛋

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:南山皮小蛋
原始发表时间:2021-04-23
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • Android 团队宣布 Android 开源项目(AOSP),已支持 Rust 语言来开发 Android 系统本身

    Android 平台中,代码的正确性,是每个版本 Android 系统的安全性、稳定性,及其质量的重中之重。C/C++ 语言中的内存安全漏洞,仍然是最难解决的...

    niqin.com
  • angular打包报错内存溢出 nodejs 执行失败报错 “JavaScript heap out of memory” 的解决办法

    报错信息很直观地指出是内存溢出了。是什么导致了内存溢出呢?其根本原因在于 nodejs 默认限制了最大可使用的内存大小。

    用户1437675
  • spark-submit介绍

    spark-submit脚本通常位于/usr/local/spark/bin目录下,可以用which spark-submit来查看它所在的位置,spark-s...

    Tyan
  • Spark性能调优06-JVM调优

    再JVM虚拟机中,当创建的对象的数量很多时,Eden 和 Survior1 区域会很快的满溢,就需要进行频繁地 Minor GC,这样会导致有一些生命周期较短的...

    CoderJed
  • spark-submit 参数设置

    在使用spark时,根据集群资源情况和任务数据量等,合理设置参数,包括但不限于以下:

    不吃西红柿
  • Hadoop面试题[通俗易懂]

    分布式:不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务,部署在不同的服务器上,解决高并发的问题

    全栈程序员站长
  • Hadoop基础教程-第7章 MapReduce进阶(7.1 MapReduce过程)

    一般而言,数据文件都会上传到HDFS上,也就是说HDFS上的文件作为MapReduce的输入。已知block块大小是128M(Hadoop 2.x默认的bloc...

    程裕强
  • 2021年大数据Spark(十七):Spark Core的RDD持久化

    在实际开发中某些RDD的计算或转换可能会比较耗费时间,如果这些RDD后续还会频繁的被使用到,那么可以将这些RDD进行持久化/缓存,这样下次再使用到的时候就不用再...

    Lansonli
  • Hadoop 面试,来看这篇就够了

    原文链接 | http://www.jianshu.com/p/c97ff0ab5f49

    数据和云
  • [spark] Shuffle Write解析 (Sort Based Shuffle)

    从 Spark 2.0 开始移除了Hash Based Shuffle,想要了解可参考Shuffle 过程,本文将讲解 Sort Based Shuffle。

    UFO
  • Spark 性能调优之资源调优

    在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学...

    smartsi
  • page结构体,何处安放你的灵魂?

    随着硬件能力的提升,系统内存容量变得越来越大。尤其是在服务器上,过T级别的内存容量也已经不罕见了。

    Linux阅码场
  • 【万字长文】Spark最全知识点整理(内含脑图)

    Spark有以下四种部署方式,分别是:Local,Standalone,Yarn,Mesos

    857技术社区
  • Jenkins前端打包内存溢出问题

    公司项目vue构建,体积比较庞大,在Jenkins上构建时,有新的内容提交时,第一次npm run build必失败,报内存溢出错误

    全栈程序员站长
  • Spark资源调优

    Spark 作者:章华燕 编辑:龚 赛 概述 1 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可...

    机器学习算法工程师
  • Vue内存溢出问题解决方法

    引起内存泄漏的原因有不少,本文就介绍webpack 运行 npm run build 内存溢出 JavaScript heap out of memory内存溢...

    前端逗逗飞
  • Hadoop学习笔记

    作者:伍栋梁 编辑:陈人和 1.hadoop安装与介绍 1.1hadoop生态圈介绍 分布式系统—Google三架马车(GFS,mapreduce,Bigta...

    机器学习算法工程师
  • 笔记:记一次解决V8使用内存超过默认限制

    混合TypeScript和javaScript开发,完美升级老项目,这个老项目是一个巨无霸项目,非常庞大,是集团公司的最核心项目

    Peter谭金杰
  • 一场比较有深度的面试

    HBase是一个面向列的 NoSQL 分布式数据库,它利用HDFS作为底层存储系统。那么,HBase相对于传统的关系型数据库有什么不同呢?

    夕梦

扫码关注腾讯云开发者

领取腾讯云代金券