梳理正则表达式发展史

腾讯技术工程官方号

发布于 2021-12-08 09:40:10

2.1K0

发布于 2021-12-08 09:40:10

文章被收录于专栏：腾讯技术工程官方号的专栏

作者：kamly，腾讯 CDC 应用开发工程师

前言

正则表达式在我们日常的软件开发过程中被广泛使用，例如编写 Nginx 配置文件、在 Linux 与 macOS 下查找文件，然而不同软件不同操作系统对于正则的应用有着不一样的行为，主要原因是正则表达式演进过程中，出现 POSIX 与 PCRE 派系之分。

一、历史

先了解一下正则表达式的演进史。

20 世纪 40 年代，两位神经生理学家 Warren McCulloch 和 Walter Pitts，研究出了一种用数学方式来描述神经网络的方法，可以将神经系统中的神经元描述成小而简单的自动控制元。

50 年代，一位叫 Stephen Kleene 的数学家在 McCulloch 和 Pitts 早期工作的基础上，发表了《神经网络事件表示法和有穷自动机》 论文。这篇论文描述了一种叫做 "正则集合（Regular Sets）" 的数学符号，引入了正则表达式的概念。

60 年代，Unix 之父 Ken Thompson 发表了 《正则表达式搜索算法》 论文。并且根据这篇论文的算法，将正则引入到编辑器 qed ，以及之后的编辑器 ed 中，然后又移植到了我们熟悉的文本搜索工具 grep 中。

70 年代，由于 grep 支持的功能不多，因此 Alfred Aho 编写了 egrep 程序（其中 e 表示加强版的意思）。在 grep 、 egrep 发展的同时， awk 、 lex 、 sed 等异军也开始凸起，每个程序所支持的正则表达式都有差别。

80 年代，POSIX (Portable Operating System Interface) 标准公诸于世，它制定了不同的操作系统都需要遵守的一套规则，其中就包括正则表达式的规则。遵循 POSIX 规则的正则表达式，称为 POSIX 派系的正则表达式。Unix 系统或类 Unix 系统上的大部分工具，如 grep 、sed 、awk 等都属于 POSIX 派系。同样在 80 年代，Larry Wall 发布了 Perl 编程语言，其中引入的正则表达式功能是颗耀眼明珠。

90 年代，随着 Perl 语言的发展，它的正则表达式功能越来越强悍。为了把 Perl 语言中正则的功能移植到其他语言中， PCRE （Perl Compatible Regular Expressions）派系的正则表达式也诞生了。现代编程语言如 Python ， Ruby ， PHP ， C / C++ ， Java 等正则表达式，大部分都属于 PCRE 派系。

总的来说，经历 20 世纪 80 至 90 年代洗礼，正则表达式形成了两大派系：POSIX 与 PCRE：

正则表达式演进史

二、POSIX 与 PCRE

POSIX 派系与 PCRE 派系具体有什么不一样？我们应该何时选择哪个派系？

POSIX 派系

POSIX 派系是遵循 POSIX 规则的正则表达式，其中代表软件有：grep ，sed 和 awk 等。

BRE 和 ERE 标准

POSIX 派系分为两种标准：

BRE 标准（Basic Regular Expression 基本正则表达式）
ERE 标准（Extended Regular Expression 扩展正则表达式）

在 GNU 版本下，两者具体差别如下：

BRE 和 ERE 对比

是不是很难找到两者的差别点呢？仔细留意一下，第 3，4，5，7 行的内容。我们能发现，如果使用 BRE 标准，需要对 [], (), | 符号进行转义。作者看来 ERE 实际上是 BRE 的一个扩展标准，开发者使用 ERE 能书写更简单的正则表达式，不需要对某些字符进行特殊转义。

POSIX 字符组

POSIX 派系有自己的字符组，叫 POSIX 字符组，具体解释如下所示：

POSIX字符组

篇幅原因，仅提供部分需要关注的对比，具体看【附录-POSIX 字符组详细内容】。

PCRE 派系

现代编程语言大部分都属于 PCRE 派系，如 Python ， PHP 和 Java 等。

PCRE 与 Perl

Perl1 提供了正则表达式操作符——是通用脚本语言的首创；
Perl2 补充 /i 量词，能够进行不区分大小写匹配等；
Perl3 支持 /e 量词，能够增强替换运算符的能力；{min,max} 区间量词等；
Perl5 添加非捕获的括号，忽略优先的量词，顺序环视功能等。

随着 Perl 每次迭代，新增的特性使正则表达式本身逐渐成为一门强大的编程语言，并为其提供了进一步发展空间，也因为派系的整合， PCRE 库横空出世，它是一套兼容 Perl 正则表达式库，全面仿制 Perl 的正则表达式的语法和语义。其他开发人员可以把 PCRE 库整合到自己的工具和语言中，为使用者提供丰富的正则功能。

特性

更易用相对于 POSIX 派系的 BRE 标准，不需要使用 \ 进行转义。例如：在多选分支结构直接使用 | 即可（1|2 表达 1 或者 2）
更简洁在兼容 POSIX 字符组的基础上还支持更简洁的写法。例如：\w 等价于 [[:word:]]，\d 等价于 [[:digit:]]
更多功能例如：Look-around （环顾断言）， Non-capturing Group （非捕获组）， non-greedy （非贪婪）等。

总结

正因为 PCRE 与 POSIX 相比， PCRE 使用起来更加易用简洁（不需要转义，有更简洁字符组），功能更加丰富（非捕获组，环顾断言，非贪婪）。如果没有特殊原因，应尽可能使用 PCRE 派系，让正则匹配的结果更符合我们预期。

pcre, posix bre, posix ere

篇幅原因，仅提供部分需要关注的对比，具体看【附录-PCRE、GNU BRE、GNU ERE 对比】。如果读者对贪婪和非贪婪模式感兴趣，可以了解一下正则表达式的执行引擎，或许会让你对正则表达式产生新的看法。

三、实战

了解完 PCRE 派系和 POSIX 派系后，我们来做个简单的测试。文本内容如下，我们目标是需要匹配其中的数字：

12345
abcde

实验环境为 Linux 与 macOS 下的 grep ，分别使用:

不带参数，为 POSIX BRE 模式；
带参数 -E，为 POSIX ERE 模式；
带参数 -P，为 PCRE 模式（ macOS 不支持）。

实验结果如下图：

实验结论

在 Linux 环境下

通过 man grep ，可以了解到 Linux 下的 grep 默认是 POSIX BRE 模式：

-G, --basic-regexp
            Interpret PATTERN as a basic regular expression (BRE, see below).  This is the default.

加上 -E 则是 POSIX ERE 模式：

-E, --extended-regexp
              Interpret PATTERN as an extended regular expression (ERE, see below).

加上 -P 则是 PCRE 模式：

 -P, --perl-regexp
              Interpret the pattern as a Perl-compatible regular expression (PCRE).  This is experimental and grep -P may warn of unimplemented features.