首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >在 Node.js 中处理大文件上传:流式解析 multipart 并避免内存暴涨

在 Node.js 中处理大文件上传:流式解析 multipart 并避免内存暴涨

作者头像
用户12771345
发布于 2026-11-16 12:11:55
发布于 2026-11-16 12:11:55
300
举报
概述
线上有个后台服务需要接收用户上传的 CSV 文件做批量导入,单个文件从几十 MB 到一两 GB 不等。一开始用的是 multer 默认配置,结果在几个大文件并发上传时进程内存直接飙到 1.5 GB 以上,偶尔触发 OOM 重启。排查后发现 multer 默认会把整个文件先落到磁盘,但配合 express 的 body 解析和部分中间件后仍有缓冲区堆积;更隐蔽的问题是后续用 fs.readFile

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档