处理大文件上传或日志聚合时，很多人会用 `fs.createReadStream` 配合 `pipe` 往网络或另一个流里写。但 `pipe` 不是万能的——当可写流处理速度跟不上可读流的生产速度时，如果中间环节没有正确响应背压信号，数据会在内存里越堆越多，最终把进程撑爆。这个问题在文件上传、日志转发、CSV 导出等场景都很常见，表现是内存曲线持续爬升、GC 频繁但回收不掉，严重时直接 OOM。下面结合一个日志转发服务的真实故障，梳理背压失效的常见写法、用 `stream.pipeline` 和 `highWaterMark` 定位问题的方法，以及如何自定义 Transform 时正确处理 `write` 回调。

先看一个容易出问题的日志转发服务。它从本地文件读日志，经过一个简单的转换流，再写到远程 HTTP 接口：

```js
const fs = require('fs')
const { Transform } = require('stream')
const http = require('http')

const format = new Transform({
 transform(chunk, enc, cb) {
 // 给每行加上时间戳前缀，这里假设按行处理
 const lines = chunk.toString().split('\n')
 const out = lines.map(l => l ? `[${Date.now()}] ${l}` : l).join('\n')
 this.push(out)
 cb()
 }
})

const req = http.request({ host: 'log-collector.internal', path: '/ingest', method: 'POST' })

fs.createReadStream('/var/log/app.log')
 .pipe(format)
 .pipe(req)
```

这段代码在日志量小的时候跑得好好的。可一旦远程接口变慢，`req` 的写入缓冲区很快被填满，`write()` 返回 `false`，但 `pipe` 会把背压信号往回传：`req` 触发 `drain` 之前，`format` 暂停推送；`format` 暂停后，`fs` 读流也会暂停。听起来没问题，那内存为什么还会涨？问题出在 `format` 这个 Transform 上：它一次性把整个 chunk 转成字符串再 `push`，而且忽略了 `push()` 的返回值。当 `push()` 返回 `false` 时，说明可读侧缓冲区也满了，此时不应该继续 `cb()` 让上游继续喂数据。正确做法是在 `push` 返回 `false` 时等 `_read` 被调用再恢复：

```js
const format = new Transform({
 transform(chunk, enc, cb) {
 const out = chunk.toString().split('\n')
 .map(l => l ? `[${Date.now()}] ${l}` : l)
 .join('\n')
 if (this.push(out)) {
 cb()
 } else {
 this._resume = cb
 }
 },
 _read(size) {
 if (this._resume) {
 const cb = this._resume
 this._resume = null
 cb()
 }
 Transform.prototype._read.call(this, size)
 }
})
```

不过手写这套逻辑容易出错，尤其是异常和销毁路径。Node 10 之后官方提供了 `stream.pipeline`，它会自动处理背压、错误传播和流销毁：

```js
const { pipeline } = require('stream')

pipeline(
 fs.createReadStream('/var/log/app.log'),
 format,
 req,
 (err) => {
 if (err) console.error('转发失败', err)
 }
)
```

`pipeline` 并不能修复上面那个 Transform 本身忽略 `push` 返回值的问题，但它保证任一环节出错时整条链路被销毁，不会留下悬挂的读流继续往已关闭的写流里灌数据。排查时可以先在 `format` 的 `transform` 里打印 `this.readableLength` 和 `this.writableLength`，如果 `readableLength` 持续增长，基本就是可读侧背压没处理好。

另一个常见坑是直接用 `'data'` 事件手动写：

```js
readStream.on('data', (chunk) => {
 if (!writeStream.write(chunk)) {
 readStream.pause()
 writeStream.once('drain', () => readStream.resume())
 }
})
```

这段逻辑看着对，但 `write` 返回 `false` 之后、`drain` 触发之前，如果同一轮事件循环里还有多个 `data` 事件排队，`pause()` 只能阻止后续读取，已经进入回调队列的 chunk 仍会被处理。更稳妥的方式是用 `readable` 事件配合 `read()` 手动控制节奏，或者干脆交给 `pipeline`。如果必须手写，至少要在 `write` 返回 `false` 时设置一个标志位，在 `data` 回调入口处判断并提前返回，避免重复写入。

定位内存泄漏时，`--inspect` 配合 Chrome DevTools 的 Memory 面板做两次堆快照对比，重点看 `Buffer` 和字符串对象的 retained size。如果快照里大量 Buffer 的引用链指向某个 `Readable` 的内部队列，说明背压链路断了。另外可以用 `process.memoryUsage().rss` 定时打点，观察增长是否与文件大小线性相关——线性增长通常意味着整个文件被缓冲到了内存里，而不是流式处理。

对于 `highWaterMark`，默认 16KB 对普通文本够用，但在高吞吐场景可以适当调大减少系统调用次数，调大之后要确认下游能及时消费，否则只是把缓冲区撑得更大、泄漏来得更晚。不要为了"性能"盲目调大它，先把背压逻辑写对。

 推荐查看成语：https://www.tianqi556.com/chengyu/11301.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11302.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11303.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11304.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11305.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11306.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11307.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11308.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11309.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11310.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11311.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11312.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11313.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11314.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11315.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11316.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11317.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11318.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11319.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11320.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11321.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11322.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11323.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11324.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11325.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11326.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11327.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11328.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11329.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11330.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11331.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11332.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11333.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11334.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11335.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11336.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11337.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11338.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11339.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11340.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11341.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11342.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11343.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11344.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11345.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11346.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11347.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11348.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11349.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11350.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11351.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11352.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11353.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11354.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11355.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11356.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11357.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11358.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11359.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11360.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11361.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11362.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11363.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11364.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11365.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11366.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11367.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11368.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11369.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11370.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11371.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11372.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11373.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11374.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11375.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11376.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11377.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11378.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11379.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11380.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11381.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11382.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11383.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11384.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11385.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11386.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11387.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11388.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11389.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11390.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11391.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11392.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11393.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11394.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11395.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11396.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11397.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11398.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11399.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11400.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11401.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11402.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11403.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11404.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11405.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11406.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11407.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11408.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11409.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11410.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11411.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11412.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11413.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11414.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11415.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11416.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11417.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11418.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11419.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11420.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11421.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11422.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11423.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11424.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11425.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11426.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11427.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11428.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11429.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11430.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11431.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11432.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11433.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11434.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11435.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11436.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11437.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11438.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11439.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11440.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11441.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11442.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11443.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11444.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11445.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11446.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11447.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11448.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11449.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11450.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11451.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11452.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11453.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11454.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11455.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11456.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11457.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11458.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11459.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11460.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11461.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11462.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11463.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11464.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11465.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11466.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11467.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11468.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11469.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11470.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11471.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11472.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11473.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11474.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11475.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11476.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11477.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11478.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11479.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11480.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11481.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11482.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11483.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11484.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11485.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11486.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11487.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11488.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11489.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11490.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11491.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11492.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11493.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11494.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11495.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11496.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11497.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11498.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11499.html
 推荐查看成语：https://www.tianqi556.com/chengyu/11500.html

处理大文件上传或日志聚合时，很多人会用 fs.createReadStream 配合 pipe 往网络或另一个流里写。但 pipe 不是万能的——当可写流处理速度跟不上可读流的生产速度时，如果中间环节没有正确响应背压信号，数据会在内存里越堆越多，最终把进程撑爆。这个问题在文件上传、日志转发、CSV 导出等场景都很常见，表现是内存曲线持续爬升、GC 频繁但回收不掉，严重时直接 OOM。下面结合一个日志转发服务的真实故障，梳理背压失效的常见写法、用 stream.pipeline 和 highWaterMark 定位问题的方法，以及如何自定义 Transform 时正确处理 write 回调。

Node.js 中 stream 背压处理不当导致内存泄漏的排查与修复

处理大文件上传或日志聚合时，很多人会用 fs.createReadStream 配合 pipe 往网络或另一个流里写。但 pipe 不是万能的——当可写流处理速度跟不上可读流的生产速度时，如果中间环节没有正确响应背压信号，数据会在内存里越堆越多，最终把进程撑爆。这个问题在文件上传、日志转发、CSV 导出等场景都很常见，表现是内存曲线持续爬升、GC 频繁但回收不掉，严重时直接 OOM。下面结合一个日

人工智能

处理大文件上传或日志转发时，stream.pipeline能自动管理背压、错误传播和流销毁，避免内存溢出（OOM）。自定义Transform需正确处理push()返回值和write回调，否则数据缓冲导致内存持续增长。通过--inspect堆快照、readableLength监控可定位背压失效问题。合理设置highWaterMark并确保下游消费能力，可提升高吞吐场景稳定性。

代码解释

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

处理大文件上传或日志转发时，stream.pipeline能自动管理背压、错误传播和流销毁，避免内存溢出（OOM）。自定义Transform需正确处理push()返回值和write回调，否则数据缓冲导致内存持续增长。通过--inspect堆快照、readableLength监控可定位背压失效问题。合理设置highWat...

Node.js 中 stream 背压处理不当导致内存泄漏的排查与修复-腾讯云开发者社区-腾讯云

Node.js 中 stream 背压处理不当导致内存泄漏的排查与修复

Node.js 中 stream 背压处理不当导致内存泄漏的排查与修复

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐