stream.js 上传

stream.js 通常指的是 Node.js 中的流（Stream）模块，它允许开发者以流的方式处理数据，这对于上传大文件或者持续传输的数据非常有用。下面我将详细介绍流的概念、优势、类型、应用场景，以及在上传过程中可能遇到的问题和解决方案。

基础概念

在 Node.js 中，流是一种处理数据的抽象接口，它代表了数据的流动。流可以是可读的（Readable）、可写的（Writable）、双工的（Duplex）或转换的（Transform）。流允许数据以小块的形式进行传输和处理，而不是一次性加载整个数据集到内存中。

优势

内存效率：流可以处理任意大小的数据，因为它一次只处理一小部分数据，这样可以避免因数据过大导致的内存溢出。
时间效率：流允许边读取边处理，这样可以减少等待时间，提高程序的响应速度。
可组合性：流可以很容易地与其他流组合使用，例如通过管道（pipe）连接多个流。

类型

Readable：可以从源读取数据的流。
Writable：可以向目标写入数据的流。
Duplex：同时实现了可读和可写功能的流。
Transform：在读写过程中可以修改或转换数据的流。

应用场景

文件上传：通过流的方式上传大文件，避免一次性加载整个文件到内存。
实时数据处理：如日志文件的实时监控和分析。
网络通信：在客户端和服务器之间进行数据传输。

上传过程中的问题和解决方案

问题：上传过程中断

原因：网络不稳定或者客户端意外断开连接。

解决方案：

使用 resumable.js 这样的库来实现断点续传功能。
在服务器端设置适当的超时机制和重试逻辑。

问题：内存溢出

原因：尝试一次性读取或写入过大的数据块。

解决方案：

使用流来处理数据，确保一次只处理一小部分数据。
监控内存使用情况，并在必要时进行垃圾回收。

示例代码：使用流上传文件

const http = require('http');
const fs = require('fs');
const path = require('path');

const server = http.createServer((req, res) => {
  if (req.method === 'POST' && req.url === '/upload') {
    const filePath = path.join(__dirname, 'uploads', 'uploaded-file');
    const writeStream = fs.createWriteStream(filePath);

    req.on('data', chunk => {
      writeStream.write(chunk);
    });

    req.on('end', () => {
      writeStream.end();
      res.writeHead(200, { 'Content-Type': 'text/plain' });
      res.end('File uploaded successfully.');
    });

    req.on('error', err => {
      console.error('Error during upload:', err);
      res.writeHead(500, { 'Content-Type': 'text/plain' });
      res.end('Internal server error.');
    });

    writeStream.on('error', err => {
      console.error('Error writing file:', err);
      res.writeHead(500, { 'Content-Type': 'text/plain' });
      res.end('Internal server error.');
    });
  } else {
    res.writeHead(404, { 'Content-Type': 'text/plain' });
    res.end('Not found.');
  }
});

server.listen(3000, () => {
  console.log('Server is running on port 3000');
});

在这个示例中，服务器监听 POST 请求到 /upload 路径，并使用流的方式接收和保存上传的文件。这种方式可以有效避免因文件过大导致的内存溢出问题。