Coding迪斯尼-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

Coding迪斯尼

专栏成员

322

文章

295096

阅读量

98

订阅数

自己动手写编译器:First 集合,Follow 集合和 Select 集合

expression select 编译器集合语法

在上一节内容，我们手动设计了解析跳转表，表的行对应当前解析堆栈上的非终结符，列对应当前读取的终结符，于是对应的表格数字表示当前应该采取哪个推导表达式。本节我们看看如何自动化构建解析跳转表。首先我们引入一个概念叫 First 集合，我们先看一组表达式：

2024-05-09

1640

自己动手写编译器：使用 PDA 实现增强和属性语法的解析

算法语法 lexer 编译器函数

在前面章节中我们了解了增强语法和属性语法，特别是看到了这两种语法的结合体，本节我们看看如何使用前面我们说过的自顶向下自动机来实现这两种语法结合体的解析，这里使用的方法也是成熟编译器常用的一种语法解析算法。

2024-02-23

2040

自己动手写编译器：属性语法极其实现

变量编译器函数语法 lexer

上一节我们研究了增强语法，本节我们看看何为属性语法。属性语法实则是在语法规则上附带上一些重要的解析信息，随着语法解析的进行，我们可以利用附带的解析信息去进行一系列操作，例如利用解析信息实现代码生成。我们先看属性语法的一个实例：

2024-02-23

1180

自己动手写编译器:增强语法极其实现

函数语法存储 lexer 编译器

我们前面章节看到的语法规则中，语法只给出了代码字符串组合规则是否符合规定，实际上我们可以在语法解析过程中增加一些特定的属性或者操作，使得语法解析流程中就能完成中间代码生成，或者是创建好特定的元信息，以便在后续处理流程中辅助代码生成。例如我们看看如何在语法解析规则中附加特定操作，使得语法解析过程就能生成中间代码，我们看一个例子，给定如下语法规则：

2024-02-23

940

python 实现大语言模型中的概率论:两人轮流出手对决时取胜概率的推导

python 变量模型数学算法

假设你跟朋友通过打赌投篮来打赌一万块。你们找到一个篮球框，然后约定轮流投篮，谁先投进谁赢。假设你投进的概率是 p，也就是投不进的概率是 1-p，你对手投进的概率是 q,投不进的概率是 1-q，如果由你先投，那么你取胜的概率是多少。

2024-01-22

1170

自己动手做数据库系统:解释执行 update 和 delete 对应的 sql 语句

数据库 sql data 接口索引

在上一节我们完成了 select 语句的解释执行，本节我们看看 Update 和 Delete 对应的语句如何解释执行，当然他们的实现原理跟我们前面实现的 select 语句执行大同小异。无论是 update还是 delete 都是对数据表的修改，因此他们的实现方法基本相同。

2024-01-22

1740

自己动手写编译器:自顶向下的自动状态机

编译器函数算法状态机字符串

本节我们介绍编译原理中一种新的数据结构叫自顶向下的自动状态机。前面我们在做词法解析时接触了大量自动状态机，他们存在一个缺陷那就是无法对要识别的字符串进行计数，因此当我们要判断括号对是否匹配时，使用在词法解析的状态机就处理不了，例如给定字符串”((())()))”，我们判断其中左右括号是否都能匹配上，以前的状态机就无法处理。

2024-01-16

3030

自己动手写编译器:语法解析的基本原理

编译器集合算法语法字符串

在前面系列章节中我们完成了词法解析。词法解析的基本任务就是判断给定字符串是否符合特定规则，如果符合那么就给这个字符串分配一个标签(token)。词法解析完成后接下来的工作就要分配给语法解析，后者的任务就是判断一系列标签的组合是否符合特定规范。

2023-12-20

2110

python 实现 AIGC 大模型中的概率论:充满数学逼格的生日问题公式推导

python aigc 函数模型数学

在前两节中，我们推导了生日问题的求解算法，但在数学上的最终目标就是希望能针对问题推导出一个简洁漂亮的公式，就像爱因斯坦著名的质能方程 E = MC^2 那样，毕竟数学是以符号逻辑来看待世界本质的语言，所以絮絮叨叨不是数学，一个掷地有声的符号公式才是数学的范儿。

2023-12-20

2930

自己动手写数据库:解析 select 语句并生成查询树

数据库 select 对象基础接口

首先我们需要给原来代码打个补丁，在SelectScan 结构体初始化时需要传入 UpdateScan 接口对象，但很多时候我们需要传入的是 Scan 对象，因此我们需要做一个转换，也就是当初始化 SelectScan 时，如果传入的是 Scan 对象，那么我们就将其封装成 UpdateScan 接口对象，因此在 query 目录下增加一个名为 updatescan_wrapper.go 的文件，在其中输入内容如下:

2023-12-15

2110

自己动手做编译器:实现 c 语言的词法解析

正则表达式 return 编译器函数字符串

对编译器设计和开发而言，表明你能有效入门的证明就是你能做出一个针对 C 语言的编译器。完成了 C 语言编译器，你在编译原理领域里算是写出了第一个 hello world 程序。于是为了确认我们开发的 GoLex 功能完善，我们看看它是否能对 C 语言的语法有准确的解。

2023-12-14

3560

python 实现 AIGC 大模型中的概率论:生日问题的基本推导

python aigc 模型事件搜索

在上一节中，我们对生日问题进行了严谨的阐述：假设屋子里面每个人的生日相互独立，而且等可能的出现在一年 365 天中的任何一天，试问我们需要多少人才能让某两个人的生日在同一天的概率超过 50%。

2023-12-05

1710

python 实现 AIGC 大语言模型中的概率论：生日相同问题的代码场景模拟

python aigc 基础模型数学

对深度学习本质而言，它实际上就是应用复杂的数学模型对输入数据进行建模，最后使用训练好的模型来预测或生成新的数据，因此深度学习的技术本质其实就是数学。随着大语言模型的发展，人工智能的数学本质被进一步封装，从业者要不直接调用给定模型处理给定数据，有点“技术内涵”的就是在给定模型基础上进行“微调”，我看现在很多国内的AIGC 创业团队，几乎没有多少人有能力对开源的大模型进行修改或创造的能力。主要原因在于大模型的训练需要天量的数据和算力外，还在于其在数学理论基础上有很高的要求。我们很多人因此只能局限于AIGC 的“术”，也就是拿一个开源模型去适配特定的商业需求或场景，对于AIGC 的”道“而言，就只能讳莫如深，因为其要求的数学门槛太高。

2023-12-04

2150

自己动手写编译器:golex 和 flex 比较研究 2

flex word 编译器程序函数

上一节我们运行了 gcc 使用的词法解析器，使用它从.l 文件中生成对应的词法解析程序。同时我们用相同的词法规则对 golex 进行测试，发现 golex 同样能实现相同功能，当然这个过程我们也发现了 golex 代码中的不少 bug，本节我们继续对 golex 和 flex 进行比较研究，首先我们在上一节.l 文件的基础上增加更多的判断规则，其内容如下：

2023-11-29

1970

自己动手写编译器:实现编译器工具链中的词法解析工具 Flex

flex 编译器工具状态机字符串

我们在上一节以手动的方式实现了一个词法解析器的 c 语言源码。它主要包含若干部分，第一部分就是输入缓存系统，用于从磁盘文件或者控制台上获取要解析的字符串。第二部分是数据读入逻辑，它主要通过调用输入系统的接口获得要解析的字符串；第三部分是 DFA 状态机的代码实现，它主要通过输入字符实现不同状态的跳转，最后得出被识别字符串是否可以被状态机接收；最后一部分是接收状态执行代码，当状态机识别字符串进入接收状态后，程序将执行对应接收状态的执行代码。

2023-11-16

3490

自己动手写编译器:创建由 C 语言编译而成的语法解析器

编译编译器设计语法字符串

在上一章节，我们完成了由 c 语言设计的输入系统，本节我们看看如何在前一节的基础上完成一个由 c 语言设计并编译出来的词法解析器。整个解析器的基本设计思路是： 1，由我们上一节设计的输入系统将字符串从文件中读入。 2，由我们前面 GoLex 程序设计生成的状态机代码负责读入步骤 1 读入的字符串进行识别。 3，由 c 语言设计的模板代码驱动步骤1 和 2 的执行我们看看具体的操作情况。首先我们需要将上一节设计的输入系统对应的函数放入头文件，在 CLex 项目中增加一个头文件l.h，其代码内容如下：

2023-11-06

4740

自己动手写编译器:实现命令行模块

正则表达式编译器命令行数组算法

在前面一系列章节中，我们完成了词法解析的各种算法。包括解析正则表达式字符串，构建 NFA 状态就，从 NFA 转换为 DFA 状态机，最后实现状态机最小化，接下来我们注重词法解析模块的工程化实现，也就是我们将所有算法集合起来完成一个可用的程序，由此在接下来的章节中，我们将重点放在工程实现上而不是编译原理算法上。

2023-10-08

2130

自己动手写数据库:规划器(Planner)的实现

数据库 return 对象接口视频

在上一节我们说明了不同查询树其对应的执行效率不一样。给定 sql 语句，sql 解释器会构造出不同的查询树，因此我们需要专门计算哪种查询树具有最优效率，在数据库系统中，专门负责此工作的模块叫规划器，本节我们研究该模块的实现。

2023-09-25

2730

自己动手写数据库：关系代数和查询树执行效率的推导

数据库遍历对象接口效率

上几节我们完成了 sql 解释器的实现。通过解析 sql 语句，我们能知道 sql 语句想做什么，接下来就需要执行 sql 语句的意图，也就是从给定表中抽取所所需要的数据。要执行 sql 语句，我们需要了解所谓的“关系代数”，所谓代数本质上就是定义操作符和操作对象，在关系代数里，操作符有三种，分别为 select, project 和 product，操作对象就是数据库表。

2023-09-21

2390

自己动手写数据库：实现一个小型 SQL 解释器(下)

数据库 sql 语法字符串解释器

本节我们完成 SQL 解释器的最后一部分，它涉及到数据的删除和更改，首先我们看删除语句的解析。我们先看 delete 对应的语法：

2023-09-14

3140

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态