【Node.js】Stream(流)的学习笔记

  最近学习使用Node.js创建http proxy server,少不了要跟Stream打交道。昨天开始查阅一些资料,多少有了一些粗浅了解。整理在这里,供学习之用。

  从Node.js API文档中可知,

  "A stream is an abstract interface implemented by various objects in Node. For example a request to an HTTP server is a stream, as is stdout. Streams are readable, writable, or both. All streams are instances of EventEmitter。""流是很多I/0操作的抽象,被 Node 中的很多对象所实现。比如对一个 HTTP 服务器的请求是一个流(可读流)(服务器的响应是一个流(可写流)),stdout也是流。流是可读、可写或兼具两者的。所有流都是 EventEmitter 的实例。"

一.  为什么需要流(Stream)?

  举个例子,如果要读取一个文件,一次性读取需要占用大内存,是不可取的。因此就有了流,用流会很方便,可以帮我们避免这样的问题,调用其接口不用关心底层如何实现。

二. 什么是流(Stream)?

  流(Stream)是可读,可写或双工的。可以通过require('stream')加载流的基类,其中包括四类流, Readable 流、Writable 流、Duplex 流和Transform 流的基类。

  另外如果觉得上述四类基类流不能满足需求,可以编写自己的扩充类流。像我们Team现在正做的Node项目,就重写了Transform类以供使用。

  按照官方的API文档,步骤如下:

  1. 在您的子类中扩充适合的父类。(例如util.inherits(MyTransform, Transform); )
  2. 在您的构造函数中调用父类的构造函数,以确保内部的机制被正确初始化。
  3. 实现一个或多个特定的方法,参见下面的细节。

三. Readable流(可读流)介绍

   Readable(可读)流接口是对您正在读取的数据的来源的抽象。换言之,数据出自一个可读流。

   Readable 流有两种“模式”:流动模式暂停模式

   当处于流动模式时,数据由底层系统读出,并尽可能快地提供给您的程序;当处于暂停模式时,您必须明确地调用 stream.read() 来取出若干数据块。流默认处于暂停模式。

A. 通过以下三种方法,可读流会被切换到流动模式

     1. 添加一个'data'事件处理器来监听数据。

     2. 调用 resume()方法来明确开启数据流。

       3. 调用 pipe()方法将数据发送到一个可写流(Writable)。

     之前我一直对pipe()方法有疑问,不清楚其用法。现在了解,当我们用pipe()为可读流指定了一个接受者(可写流)的时候,数据才会真正的被从底层系统读出,传递给可写流。

B. 下面介绍Readable流有以下几种事件

     1. 'Readable'事件

     2. 'data'事件 - 数据正在传递时,触发该事件(以chunk数据块为对象)

     3. 'end'事件 - 数据传递完成后,会触发该事件。

     4. 'close'事件

     5. 'error'事件

所有这些事件都可以在官方API文档中找到例子。

C. 下面介绍Readable流很重要的一个方法,pipe()方法。

     该方法从可读流中拉取所有数据,并写入到所提供的目标(可写流)。该方法能自动控制流量以避免目标被快速读取的可读流所淹没。

     值得注意的是,默认情况下,当数据传送完毕,触发'end'事件时,会同时触发目标(可写流)的'end'事件,导致目标不再可写。

   举个简单的小例子,

 1 //http.js
 2 
 3 var http = require('http');
 4 var fs = require('fs');
 5 
 6 http.createServer(function(req, res){
 7     var stream = fs.createReadStream(__dirname + '/data.txt');
 8     stream.pipe(res);
 9 }).listen(3000);
10 
11 console.log('now we are listening 3000 port');

     data.txt文件内容如下:

     当执行此段代码后,用户访问http://127.0.0.1:3000/,会得到如下响应:

   此时,创建此Server后,用户访问请求过来,Server会创建一个可读流,当调用stream.pipe(res)为可读流指定目标后,可读流stream会开始从文件data.txt中读取数据,数据写入res(可写流)完毕后,自动调用res的end()方法,结束响应,可写流不再写入。

四. Writable流(可写流)介绍

Writable(可写)流接口是对写入数据的目标的抽象。

   可写流重要的两个方法,

   1. write()方法

     该方法向底层系统写入数据,并在数据被处理完毕后调用所给的回调。

   2. end()方法

   当不再写入数据时,调用该方法,停止写入。在调用end()后,再调用write()方法会产生错误。

五. 参考资料

   1. Node.js官方API文档

http://www.nodejs.org/api/stream.html

   2. 官方API文档中文版

http://nodeapi.ucdok.com/#/api/stream.html

   3. Node 中的流(Stream)

http://blog.segmentfault.com/xingrz/1190000000357044

   4. Node Streams: How do they work?

http://maxogden.com/node-streams.html

  抛砖引玉,继续加油。

  Best Regards

  Kevin Song 

                                                                                 - 2014/6/18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏别先生

JSch - Java实现的SFTP(文件上传详解篇)

  JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器,并且可以使用端口转发,X11...

1.1K10
来自专栏Jacklin攻城狮

iOS,面试必看,最全梳理

目前形势,参加到iOS队伍的人是越来越多,甚至已经到供过于求了。今年,找过工作人可能会更深刻地体会到今年的就业形势不容乐观,加之,培训机构一火车地向用人单位输送...

25020
来自专栏desperate633

Java并发之“饥饿”和“公平锁”(Starvation and Fairness)java中发生线程饥饿的原因java中实现公平锁公平锁性能考虑

如果一个线程的cpu执行时间都被其他线程抢占了,导致得不到cpu执行,这种情况就叫做“饥饿”,这个线程就会出现饥饿致死的现象,因为永远无法得到cpu的执行。解决...

14010
来自专栏pangguoming

tomcat 用AXIS2发布WebService 网站的方法

Axis2+tomcat7.0 实现webService 服务端发布与客户端的调用。   Aixs2开发webService的方法有很多,在此只介绍一种比较简单...

56360
来自专栏一“技”之长

iOS 单例设计模式解读 原

      顾名思义,单例,即是在整个项目中,这个类的对象只能被初始化一次。它的这种特性,可以广泛应用于某些需要全局共享的资源中,比如管理类,引擎类,也可以通过...

9120
来自专栏java 成神之路

基于ReentrantLock发生死锁的解决方案

33360
来自专栏Java帮帮-微信公众号-技术文章全总结

Java并发学习2【面试+工作】

  关键字synchronized的作用是实现进程间的同步。它的工作是对同步的代码加锁,使得每一次,只能有一个线程进入同步块,从而保证线程间的安全性(即同步块每...

11420
来自专栏腾讯Bugly的专栏

Android 平台 Native 代码的崩溃捕获机制及实现

一、背景 在Android平台,native crash一直是crash里的大头。native crash具有上下文不全、出错信息模糊、难以捕捉等特点,比jav...

1.2K70
来自专栏黑泽君的专栏

day58_BOS项目_10

之前的请假流程,是没有实际意义的,我们要使得我们流程变得有意义(有实际意义),需要在流程向下推进的过程中带着数据推进才有意义。如下图所示:

10340
来自专栏一个会写诗的程序员的博客

《Kotin 极简教程》第9章 轻量级线程:协程(2)《Kotlin极简教程》正式上架:

如果需要依次调用它们, 我们只需要使用正常的顺序调用, 因为协同中的代码 (就像在常规代码中一样) 是默认的顺序执行。下面的示例通过测量执行两个挂起函数所需的总...

14020

扫码关注云+社区

领取腾讯云代金券