Pipe 之美

Unix 三大宝是 C,file 和 pipe。C的重要性自不必说,如果 Lisp 是编程语言之母,那么 C 就是编程语言他爹。file 是 unix 世界的夸克 —— 在 unix 的哲学里,万事万物皆 file。文件自然是 file,socket 也是 file,各种硬件 device 还是 file。在你我凡俗眼中,这些东西风马牛不相及;在睿智的 unix 先驱们的眼中,他们都是 stream,而 file,是 stream 的容器。

我们翻开词典看看。stream 这个词本意是 a continuous flow of liquid, air, or gas。在 CS 这行当,它被生动地借用过来,表达 a continuous flow of data or instructions。当你打开一个文件,你可以往里面写东西,也可以读取内容;当你建立一对 socket 连接,你也可以全双工地读写。这个时候,不光是指令(instructions)在指尖流淌,数据(data)也在指缝里奔走。

我们知道,"a continuous flow of liquid" 一般都是通过管道运输的,比如说自来水管,或者输油管。pipe 就是管道。同理,"a continuous flow of data or instructions" 也需要 pipe 进行承载。

于是乎,pipe 就成了和 file 一样,在 unix 中无处不在的精灵。一条简单的命令:

tail -f /var/log/xxx.log | bunyan | grep -A 5 -B 10 ERROR

就让奔流的日志数据在若干个处理程序中游走(map / filter / reduce),直至最终呈现到我们的眼前。

在主流的编程语言中,对数据(或者数据处理流程)的 pipe 也越来越得到重视。不少语言直接在其 core 中内置了 pipe,如 elixir/scala 等语言 的 |>,nodejs 的 stream interface 等。上周五我在公司里分享了一个主题,就是关于 pipe 的。我将其分成了四种基本的处理:

  • pipe for single value
  • pipe for multiple values
  • pipe for single future value
  • pipe for multiple future values

在处理 multiple values 时,大家一定要注意容器(container)的选取。不是所有的场景都适合使用 array 作为 multiple values 的 container 的。很多时候,选择了合适的容器(数据结构),问题的解决就完成了一半。

分享的最后重点介绍了一下 node 的 transform stream,对于 nodejs developer 来说,这可能是使用频率最广的 stream 了。使用 transform stream 我们可以一路 pipe 出如下干净整洁的代码:

inputDataSet
    .pipe(transformation1)
    .pipe(transformation2)
    .pipe(transformation3)
    .reduce(reducer)

给出的代码继承自 ObjectTransform,这是我们内部封装的一个 Transform stream,你就把它当做正常的 Transform stream 理解就好了。:)

好,下面放毒(抱歉,slides 做得急而糙,有不少 typo,请容忍)。

原文发布于微信公众号 - 程序人生(programmer_life)

原文发表时间:2016-07-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏c#开发者

jquery easyui datagrid mvc server端分页排序筛选的实现

1自定义一个ModelBinder public class filterRule { public string field { g...

4179
来自专栏我和未来有约会

silverlight向服务器post数据类

using System; using System.Net; using System.Windows; using System.Windows.Co...

1955
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

2986
来自专栏菩提树下的杨过

MSDN官方的ASP.Net异步页面的经典示例代码

示例1.演示异步获取一个网址的内容,处理后显示在OutPut这一Label上 using System; using System.Web; using S...

1975
来自专栏互联网开发者交流社区

WinForm之窗体应用程序

1793
来自专栏跟着阿笨一起玩NET

C# 通过HttpWebRequest在后台对WebService进行调用

http://www.cnblogs.com/macroxu-1982/archive/2009/12/23/1630415.html

2732
来自专栏码匠的流水账

聊聊spring cloud的AbstractLoadBalancingClient

本文主要研究一下spring cloud的AbstractLoadBalancingClient

812
来自专栏跟着阿笨一起玩NET

C#巧用Excel模版变成把Table打印出来

转载:http://blog.csdn.net/gwblue/article/details/38865525

1152
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2319
来自专栏成长道路

JDBC动态SQL语句连接orcale数据库的工具类

import java.sql.Connection; import java.sql.DriverManager; import java.sql.P...

2440

扫码关注云+社区