开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

yacc解析器在左递归后缀之前减少

yacc解析器是一种工具，用于生成语法分析器。它通常与Lex词法分析器一起使用，用于构建编译器和解释器。yacc解析器的全称是"Yet Another Compiler Compiler"，它的主要功能是根据给定的上下文无关文法（Context-Free Grammar）生成语法分析器。

左递归是一种文法规则的特性，指的是在规则的右侧出现了与规则左侧相同的非终结符。左递归可能导致语法分析器进入无限循环，因此需要进行处理。

为了解决左递归问题，yacc解析器提供了一种称为"左递归后缀之前减少"的技术。这种技术通过将左递归规则转化为等价的非左递归规则来消除左递归。具体而言，它将左递归规则拆分为多个非左递归规则，并引入新的非终结符来表示这些规则。

左递归后缀之前减少的步骤如下：

将左递归规则拆分为多个非左递归规则。例如，将规则A -> Aα转化为A -> β1 | β2 | ... | βn，其中β1, β2, ..., βn是不以A开头的规则。
引入新的非终结符来表示这些新的规则。例如，引入新的非终结符A'，将规则A -> β1 | β2 | ... | βn转化为A -> β1A' | β2A' | ... | βnA'。
处理原始规则的后缀。例如，将规则A' -> αA'转化为A' -> αA' | ε，其中ε表示空串。

通过这种方式，yacc解析器可以消除左递归，并生成一个有效的语法分析器。

对于yacc解析器的应用场景，它可以用于构建各种编译器和解释器，例如编程语言的编译器、数据库查询语言的解析器等。它可以帮助开发人员快速生成可靠的语法分析器，提高开发效率。

腾讯云提供了一系列与云计算相关的产品，包括云服务器、云数据库、云存储等。这些产品可以帮助用户快速搭建和管理云计算环境，提供可靠的计算、存储和网络服务。具体而言，对于yacc解析器的应用，可以使用腾讯云的云服务器（CVM）来搭建运行环境，使用云数据库（CDB）来存储解析器所需的数据，使用云存储（COS）来存储解析器的输出结果等。

更多关于腾讯云相关产品的介绍和详细信息，您可以访问腾讯云官方网站：https://cloud.tencent.com/

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

javacc功能一览

LR在堆栈上仅以根非终结符结尾。当堆栈为空时，LL结束。 LR从空堆栈开始。 LL扩展为非末尾。 LR减少非末端。 LL读取终端时，将其弹出堆栈之一。 LR在将它们压入堆栈时读取端子。...在LR解析器期间，解析器在两个动作之间连续选择。 Shift：将输入的下一个标记添加到缓冲区以供考虑。减少：减少终端和非终端的集合。...javacc特征 •JavaCC生成自上而下的（递归下降[1]）解析器，而不是类似YACC[2]的工具生成的自下而上的解析器。尽管不允许左递归[3]，这允许使用更通用的语法。...扩展的BNF在某种程度上减轻了对左递归的需求。实际上，A ::= y(x)*与相比，扩展BNF通常更容易阅读A ::= Ax|y。...[3] 左递归: https://en.wikipedia.org/wiki/Left_recursion [4] 非终结: https://en.wikipedia.org/wiki/Terminal_and_nonterminal_symbols

1.9K1 0

CSS大会 | 打破常“规”：挖掘语法解析器规则漏洞

右边的图是一个简单的编译流程图，在早期，编写编译器相当耗时，直到Lex和YACC的诞生，有了它们，开发者只需要关注如何设计词法和语法规则，剩下的解析器代码都由它们来生成处理，大大提高了程序编译解析器开发的效率...我们的议题重点关注Lex&YACC和LEMON Parser Generator。在Lex YACC解析器中，生成解析器的流程如右图所示。...正如右上图的一个片段，解析器代码风格迥异，直接审计有些尴尬。由于我们更关心用户规则引入的代码，因此只需重点看switch分支的代码，或者直接分析. l和. y后缀的规则文件进行漏洞挖掘。...另一种，则是类似Csmith这种生成式Fuzzer，其他例子还有Mozilla的jsfunfuzz，以及我之前模仿写的一个lucky-js-fuzzer，它们都会基于一定规则生成符合目标程序的指令，从而减少因为无效指令带来的测试效率的损失...再看第四张图，在glslang.y中，layout的规则定义为layout_qualifier，第1030行，即: LAYOUT 左括号 layout_qualifier_id_list 右括号。

9734 0

自制计算器——《自制编程语言》二

《自制计算器（借助yacc和lex）—《自制编程语言》一》本文介绍下不用yacc和lex的实现过程，其实就是自己编写词法解析器和词法分析器来代替yacc和lex。...LL(1)解析器所能解析的语法叫作LL(1)语法。 Pascal语法采用的就是LL(1) LL(1)解析器在语法上需要非终结符与解析器内部的函数一一对应。...BNF这样的语法称为左递归，原封照搬左递归的语法规则是无法实现递归下降分析的。 yacc生成的解析器称为LALR(1)解析器，这种解析器能解析的语法称为LALR(1)语法。...递归下降分析会按自上而下的顺序生成分析树，所以称为递归“下降”解析器或递归“向下”解析器。而LR解析器则按照自下而上的顺序，也称为“自底而上”解析器。 ...在C语言中，如果是通过typedef命名的一些类型，其标识符yacc(LALR(1)解析器)是无法解析的。

1.6K2 0

Python 之父撰文回忆：为什么要创造 pgen 解析器？

最后一篇文章写于 2018 年 5 月，好巧不巧，写的竟是 pgen 解析器，正是他在新文中无情地吐槽的、说将要替换掉的 pgen。...我也熟悉 LL(1) 解析器，并已认真地编写过一些递归下降的 LL(1) 解析器——我很喜欢它，而且还熟悉 LL(1) 解析器的生成技术（同样是因为龙书），所以我有了一个改进念头想要试验下：使用正则表达式...（在当时，我觉得工作在解析器上的大多数人都是这样。）...至于词法分析器（lexer），我决定不使用生成器——我对 Lex 的评价要比 Yacc 低得多，因为在尝试扫描超过 255 个字节的标记符时，我所熟悉的 Lex 版本会发生段错误（真实的！）。...但是，在我写完 pgen 的第一个版本的好些年之后，关键字参数写法才出现，那时候我已不想重做解析器了。

1.3K3 0

懂前端的你也可以轻松定义自己业务的DSL

2.实现DSL的解析器：DSL解析器是将DSL代码解析为计算机可执行的指令的程序。解析器通常使用词法分析器和语法分析器来实现。...其中词法分析器，语法分析器这些都有非常稳定的工具，比如，如果有定义好的BNF范式，直接丢给 flex 就可以解决词法分析的这个过程，然后在丢给 yacc，就可以按照这个规则编译出可执行程序，也许你会觉得这个非常不可思议...上面这一堆精准定义的规则都是一些上下文无关文法，要准确写出flex可以用的规则，必须对上下文无关文法比较熟悉，比如不能出现左递归、不能出现空规则等等：上下文无关文法上下文无关文法（Context-Free...文法需要满足一些条件，如不能存在左递归、不能出现空规则等。例如，一个简单的上下文无关文法可以表示一个简单的算术表达式：1....左递归和空规则左递归：在一个产生式的右部出现了该产生式本身作为左部的情况，例如：A->Aα（α为任意串）。这种产生式会导致递归调用，容易陷入死循环，因此需要消除左递归。

2.3K4 1

Yacc 与 Lex 快速入门（词法分析和语法分析）

注意: 如果扫描器是用 Yacc 开发的解析器的一部分，只需要进行第一步和第二步。关于这一特殊问题的帮助请阅读 Yacc和将 Lex 和 Yacc 结合起来部分。...它还可以用解析器来生成可执行程序，或者在链接步骤中通过选项 �ll 包含 Lex 库。这里是一些 Lex 的标志： -c表示 C 动作，它是缺省的。...它是一种工具，将任何一种编程语言的所有语法翻译成针对此种语言的 Yacc 语法解析器。它用巴科斯范式(BNF, Backus Naur Form)来书写。按照惯例，Yacc 文件有 .y 后缀。...在例子中，file 是一个非终端标记而 NAME 是一个终端标记。用 Yacc 来创建一个编译器包括四个步骤：通过在语法文件上运行 Yacc 生成一个解析器。...只有在文件结束或者出现错误标记时才会终止。一个由 Yacc 生成的解析器调用 yylex() 函数来获得标记。 yylex() 可以由 Lex 来生成或完全由自己来编写。

5.4K2 0

Python之父发文，将重构现有核心解析器

但问题是，如果你这样写语法，解析器不会起作用，pgen 将会罢工。其中一个原因是某些规则（如 expr 和 term）是左递归的，而 pgen 还不足以聪明地解析。...在 “=” 标记符之前，它已经用了 10 个标记符，如果想挑战的话，我还可以举出任意长的例子。...PEG 解析器的经典实现中使用了一个叫作“packrat parsing”（译注：PackRat，口袋老鼠）的东西，它不仅会在解析之前将整个程序加载到内存中，而且还能允许解析器任意地回溯。...虽然 PEG 这个术语主要指的是语法符号，但是以 PEG 语法生成的解析器是可以无限回溯的递归下降（recursive-descent）解析器，“packrat parsing”通过记忆每个位置所匹配的规则...随着 Python 的发展，AST 比解析树更稳定，这减少了编译器出错的可能。

1K1 0

基于解析器组合子的语法解析器(上)

解析器组合子一般采用自顶向下的递归下降分析法，并在分析的过程中配合 GLL 等算法的思想，可以较好的处理左递归文法及二义文法。...3.1.1 解析器的接口定义在实现单元构建之前，需要先来梳理一下解析器的功能。...由于call的 EBNF 定义中，其右侧的产生式第一项便是Expr，属于左递归语法，对于这样的式子，普通的递归下降解析器无法简单的处理，因此需要将其转换为非左递归的描述，将递归的部分剥离出来，放在产生式的右侧...函数的连续调用，可以将其转换为以下方式来描述：在之后的文章中，会通过引入 GLL 的思想来支持左递归文法及二义文法。...在接下来的文章中，会引入 GLL 的思想来处理左递归文法和二义文法，以及增加对匹配出错的定位报告，更加完善解析器的功能。

2.6K5 0

Python 之父新发文，将替换现有解析器

但问题是，如果你这样写语法，解析器不会起作用，pgen 将会罢工。其中一个原因是某些规则（如 expr 和 term）是左递归的，而 pgen 还不足以聪明地解析。...在 “=” 标记符之前，它已经用了 10 个标记符，如果想挑战的话，我还可以举出任意长的例子。...PEG 解析器的经典实现中使用了一个叫作“packrat parsing”（译注：PackRat，口袋老鼠）的东西，它不仅会在解析之前将整个程序加载到内存中，而且还能允许解析器任意地回溯。...虽然 PEG 这个术语主要指的是语法符号，但是以 PEG 语法生成的解析器是可以无限回溯的递归下降（recursive-descent）解析器，“packrat parsing”通过记忆每个位置所匹配的规则...随着 Python 的发展，AST 比解析树更稳定，这减少了编译器出错的可能。

1.1K3 0

按键精灵进阶之路——考级题目002

重复此过程，直到左括号被弹出为止。中缀表达式转后缀表达式：中缀表达式转后缀表达式也是一种常用的处理方法。具体来说，该算法将中缀表达式转换为后缀表达式，再使用后缀表达式求解。...优先级解析器法：优先级解析器法是一种基于递归下降解析器技术的算法，它利用优先级和结合性的规则来生成一个语法分析树，然后遍历这棵语法分析树进行求值。...在前缀表达式中，操作符出现在操作数之前，因此容易进行计算。具体来说，该算法将四则运算表达式转换为前缀表达式，然后使用栈求解前缀表达式。...在代码中，我们首先调用 InputBox 函数获取用户输入的表达式，然后依次处理字符串中的每个字符，根据不同的字符类型进行不同的操作。...当我们遇到左括号时，需要将其压入操作符栈中。当我们遇到右括号时，需要弹出操作符栈中的操作符进行计算，直到遇到左括号为止。

1782 0

TiDB SQL Parser 的实现

我们可以在TiDB的Makefile文件中看到这个过程，先build goyacc工具，然后使用goyacc根据parser.y生成解析器parser.go： goyacc: $(GOBUILD) -...的Golang版，所以要想看懂语法规则定义文件parser.y，了解解析器是如何工作的，先要对Lex & Yacc有些了解。...Lex & Yacc 分别是由贝尔实验室的Mike Lesk 和 Stephen C. Johnson在1975年发布。...Lex & Yacc 相对显得有些古老，实现的不是那么优雅，不过我们也不需要非常深入的学习，只要能看懂语法定义文件，了解生成的解析器是如何工作的就够了。...goyacc 简介 goyacc 是golang版的 Yacc。和 Yacc的功能一样，goyacc 根据输入的语法规则文件，生成该语法规则的go语言版解析器。

5051 0

TiDB 源码阅读系列文章（五）TiDB SQL Parser 的实现

的 Golang 版，所以要想看懂语法规则定义文件 parser.y，了解解析器是如何工作的，先要对 Lex & Yacc 有些了解。...Lex & Yacc 分别是由贝尔实验室的 Mike Lesk 和 Stephen C. Johnson 在 1975 年发布。...Lex & Yacc 相对显得有些古老，实现的不是那么优雅，不过我们也不需要非常深入的学习，只要能看懂语法定义文件，了解生成的解析器是如何工作的就够了。...四种运算符都是左结合，同一行的运算符优先级相同，不同行的运算符，后定义的行具有更高的优先级。语法规则使用了 BNF 定义。...goyacc 简介 goyacc 是 golang 版的 Yacc。和 Yacc 的功能一样，goyacc 根据输入的语法规则文件，生成该语法规则的 go 语言版解析器。

4.6K10 0

【Python】Ply 简介

Ply 是一个纯 python 的词法分析和语法分析库，包括两个模块：lex 和 yacc Ply Ply 是一个纯 python 的词法分析和语法分析库，包括两个模块：lex 和 yacc lex 用于将输入的文本通过正则表达式转换为一系列...你可以在单独的模块中定义规则，以此保证分析器主代码干净，这需要你在创建 lexer 时显式地指定 module： lexer = lex.lex(module=tokrules) 面向对象：有时面向对象不失是一个封装的好办法...'MINUS'), ('left', 'TIMES', 'DIVIDE'), ) precedence 中，TOKEN 优先级从小到大排列，上面的表达式声明了加减的优先级小于乘除，且它们都是左关联的...优先级高于堆栈上表达式优先级，将会进行移入操作，例如堆栈上是 expr + expr 优先级 1，当前 TOKEN 是 *, 那就会移入 * 得到 expr + expr * 优先级相同的情况下对左关联进行规约...解析器是依赖堆栈工作的，阅读时注意栈顶在靠右文件中用 ! 标注出了冲突的地方，虽然这些冲突不见得都是不好的。

2.6K3 0

借助yacc和lex自制计算器——《自制编程语言》一

（parser），yacc就是能根据语法规则自动生成解析器的程序 yacc和lex在mac上已经预装。...yacc的规则区块由语法规则以及C语言编写的相应动作两部分构成。语法规则在yacc中，会使用类似BNF(巴克斯范式)的规范来编写语法规则。...解析流程对照语法规则代码 2-0跟踪下解析1 + 2 * 3的执行流程首先，yacc生成的解析器会保存在程序内部的栈。...2.4 冲突实际用yacc试做一下解析器，可能会被冲突（conflict）困扰。所谓冲突，就是遇到语法中模糊不清的地方时，yacc报出呃错误。 ...yacc运行时，遇到下面任意一种情况都会发生冲突。同时可以进行多个归约。称为归约/归约冲突。满足移进的规则，同时又满足归约的规则。称为移进/归约冲突即便发生冲突，yacc仍会生成解析器。

4.5K1 0

Oracle 数据库编程语言 PLSQL 的历史

Kendall 使用 Ada 编程语法参考手册编写了最初的基于 YACC 的解析器，并直接从语法规则操作中生成了 DIANA 树。...Peter回忆道：“Gray 比我更了解我之前从未接触的编程语言。他在函数式编程方面拥有丰富的经验，并且对与之相关的所有问题都有清晰的理解。”...在 Oracle 中，PL/SQL 游标接口是映射到数据库内核查询层，而在 TimesTen 中，它是与 TimesTen 引擎的独立连接的。画外音：合理的抽象是减少工作量的必要途径之一。...因此，在加入 PL/SQL 开发之前，他花了几年时间改进 Oracle 的预编译器。...Terry 在1990年某个时候开始从事 PL/SQL 的工作之前，就将 PL/SQL 从 YACC 转换为 SLAX，然后改进了基础解析器本身。

1.6K2 0

编译入门 - 从零实现中文计算器

在 JS 中，我们可以直接执行 eval('1+1') 就行了，这将会输出 2。如果不能使用 eval 这些函数，那么如何执行这个字符串呢？如何自己实现一个 eval 函数？...如果再复杂一点可能会加上语义分析等其他步骤，比如 {a = 1; let a} 这行代码，它的语法是对的，但是它的语义是错的，因为在 a 初始化之前访问了 a。...Lex 常常与 yacc 语法分析器产生程序一起使用。 yacc（Yet Another Compiler Compiler），是Unix/Linux上一个用来生成编译器的编译器（编译器代码生成器）。...yacc生成的编译器主要是用C语言写成的语法解析器，需要与词法解析器Lex一起使用，再把两部分产生出来的C程序一并编译。...但是在语法分析之前，我们还需要了解一些概念。

7651 0

教你一招：用70 行 Python 代码编写一个递归下降解析器

在深入到实际的解析器实现之前，我们可对语法进行讨论。在我之前发表的文章中，我使用过LR解析器，我可以像如下方式定义计算器语法（标记使用大写字母表示）： ?...(如果您还不理解上述语法，请阅读我之前发表的文章) 现在我使用LL解析器，以如下方式定义计算器的语法： ? 大家可以看到，这里有一个微妙的变化。有关”addandmul”的递归定义被反转了。...LR版本使用了左递归的模式。当LL解析器遇到递归的时候，它会尝试去匹配规则。所以，当左递归发生是，解析器会进入无穷递归。...甚至连聪明的LL解析器例如ANTLR也逃避不了这个问题，它会以友好的错误提示代替无穷的递归，而不像我们这个玩具解析器那样。左递归可以很容易的转变为右递归，我就这么做的。...但是解析器并不是那么简单，它又会产生另一个问题：当左递归正确的解析3-2-1为(3-2)-1，而右递归却错误的解析为3-(2-1)。

1.2K10 0

笨办法学 Python · 续练习 47：`bc`

我们已经在练习 36 中，为bc实现了简单的数学运算，但现在你将尽可能多地实现bc语言。bc大量运算符、函数和控制结构。你的目标是使用你对递归下降解析器的了解，来逐步实现它。...在实现中，你无法实现整个bc语言，因为它太大了。相反，你应该实现这些东西：所有的数学运算符变量函数 if语句这实际上是你应该实现该语言的顺序。首先，让运算符工作和解析良好。...随意借鉴你在练习 35 中创建的简约实现，来起步。一旦实现了它，实现变量，这将需要使分析器正确处理变量的存储和检索。最后，你可以实现函数，然后是if语句。...最后，请记住，你正在实现一个递归下降解析器，实际上只是计算机科学解析中的低级版本。如果你正在做正经的解析工作，那么请使用一个解析器生成器，而不是用手写。...这可能令人困惑，所以去研究一个名为lex的工具，和一个名为yacc的工具。

4141 0

goyacc 实战

是匹配符号 Error(e string) } type yyParser interface { Parse(yyLex) int Lookahead() int } golang 1.8 版本之前...yacc 直接再带与go tool 无需自行安装。...鉴于使用的频率太少，遂在 golang 1.8 版本后移除默认安装，即之后版本需手动安装（仍然为官方包）。...（默认 y.go） -p string 指定解析器输出接口的前缀 -v string 生成解析过程表（默认 y.output）入门先看一个简单的例子, 这个例子来自 go 官方 %union...定义终结符，表示不能再拆了的字符是一个 union 中定义的类型, 可无类型 %type 定义非终结符 %start 定义从哪个终结符开始解析默认规则段中的第一个终结符 %left 定义规则结合性质左优先

5K6 0

Antlr4实战：统一SQL路由多引擎

Antlr相关语法 ANTLR自动产生为递归下降的语法分析器，实际上为若干递归方法的集合，每个方法对应一条规则。...写按照Antlr语法要求写词法和语法文件以.g4后缀。词法和语法规则语法规则：语法规则总是以小写字母开头，首字母以后的字符，可是大小写字母、数字和下划线。...LR是自低向上（bottom-up）的语法分析方法，其中的L表示分析器从左（Left）至右单向读取每行文本，R表示最右派生（Rightmost derivation），可以生成LR语法分析器的工具有YACC...其在碰到多个可选分支的时候，会为每一个分支运行一个子解析器，每一个子解析器都有自己的DFA（deterministic finite automata，确定性有限态机器），这些子解析器以伪并行（pseudo-parallel...即ALL(*)解析器会在运行时反复的扫描输入，这是一个牺牲计算资源换取更强解析能力的算法。在最坏的情况下，这个算法的复杂度为O(n4)，它帮助ANTLR在解决歧义与分支决策的时候更加智能。

9.4K4 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭