腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Coding迪斯尼

专栏作者

321

文章

265900

阅读量

96

订阅数

自己动手写编译器:从正则表达式到NFA状态机

编程算法正则表达式 ide c 语言 go

在编译器开发中有两个非常重要的工具名为lex和yacc，他们是编译器的生成器。本质上我们不需要一行行去完成编译器的代码，只需要借助这两个工具，同时制定好词法解析和语法解析的规则后，这两个工具就会自动帮我们把代码生成，我们后续的任务就是使用go语言将这两个工具实现。

2022-12-02

1K0

自己动手写编译器:实现if判断中“||“和“&&“条件判断的中间代码生成

ide go 网络安全编程算法

上一节我们完成了if条件判断语句的中间代码生成，我们看到针对if语句的生成代码，我们针对if 条件满足时所要执行的代码赋予了一个跳转标签，同时对if(){…} 右边大括号后面的代码也赋予一个跳转标签，这样我们就能根据if条件判断成立与否进行跳转。

2022-06-21

6340

自己动手写编译器:中间代码生成1

go mapreduce ide 单片机编程算法

我们到了简单编译器开发的最后一个阶段，也就是生成中间代码。以前我们提到过编译器分为两部分，分别为前端和后端，所谓前端就是将代码转译成中间语言，后端负责进行优化和转译成目标平台的机器指令，现在我们来到了前端的最后一个阶段。由于中间代码生成是当前所有阶段中逻辑最为复杂的部分，因此我们需要将其分解成多个容易理解的小部分，逐个击破。我们的计划是这样，首先完成比较简单的代码的中间代码生成，然后不断提升目标代码的复杂度，然后生成更加复杂的中间代码。

2022-04-27

5780

自己动手写编译器:符号表及其实现

go ide 编程算法

大家如果对c, c++, java有所了解，那么就会知道作用域这个概念。所谓作用域就是变量在一个范围内起作用，一旦出了既定范围，那么它就会失效。c,c++,java用{表示作用域的起始，用}表示作用域的结束。内层作用域的变量会覆盖上一层作用域的变量。例如在上面代码中最外层定义了两个变量，分别是int类型的x，和char类型的y,在内层作用域又定义了一个bool类型的同名变量y，它会覆盖外面的char类型y，在内层作用域访问y时，我们访问的是类型为bool的y，但由于内层作用域没有定义x，因此访问x时，它对应外层作用域的x，因此我们的任务是识别作用域，同时解析出变量在不同作用域中对应的类型。

2022-04-27

7360

语法解析的基本原理和快速上手实践

ide 编程算法

语法解析本质上是判断给定的字符串序列是否符合特定规则，它是编译原理中难度相当大的部分，当然也相当不好理解。举个例子，我们如何识别由数字0到9，和符号(,),+,-所形成的算术表达式，例如”1+2”, “1+(3-2)”, “1”, “((1+2)+(((4+4))))”都是满足规则的表达式，然而”()+1”就不能满足。一种直观的做法是我们依次读入字符然后做即时判断，例如首先看第一个读到的字符是不是数字，或者是不是左括号，然后根据读入的前一个字符看看接下来读入的字符是否合法，你可以尝试用代码来实现试试，你很快会发现代码非常难写。

2022-03-28

2620

能动手就别逼逼:词法解析实现(文字版)

go 编程算法 ide

编译原理是非常基础，难度也大，而且是比较晦涩难懂的基础理论。也难怪说世界上能做编译器的人总共坐不满一个教室。虽然不简单，但我们也不要随意放弃，尽自己最大努力，看看能不能在教室里挤出个座位。

2022-03-28

5130

能动手就别逼逼:上手开发编译器,先完成词法解析的token

在没吃过猪肉之前，看到猪跑非常重要。编译原理比较晦涩，单从语言上无法清晰的描述其真正含义，因此我们需要有真实可运行的代码来进行语义补充。因此在没有全面展开编译原理的算法理论之前，我们先动手写一个可行的编译器，在这个过程中你可能会有很多疑惑，但不用担心，我们的目的是先获得感性认识，现在的疑惑我们在后面会慢慢搞懂。

2022-03-28

4520

尝试再造python编译器:龙书重制版

java 编程算法单片机 ide 打包

一段时间前，我们用go编写了python的词法解析器。由于近一段时间事情繁多，同时囊中羞涩，因此更多的精力投入到了和“变现”相关的工作，对编译原理，数据库这些极为基础且底层的技术有所忽略，毕竟他们不像reactjs, javascript，后台开发等这些工程性技术那样容易挣钱，因此属于用爱发电的范畴。但是工程性工作做多了我也发现一个问题，那就像人吃多精细食品而没有适当摄入粗粮，这会使得人有气无力，气虚多汗，让人感觉到体内虚空，没有底层理论和技术支持，一切上层构建都搭承在脆弱的地基上，随时有坍塌的危险。

2022-03-28

5070

试用GO开发pyhton编译器:字节码基础

java python ide 编程算法

掌握一门编程语言最好的办法或许是将它的编译器设计出来。毫无疑问那些开发Python编译器的人应该是世界上对Python了解最深刻的人群之一。我用python开发过不少程序，但是每次反思或复盘的时候总是感觉对Python的认知还不到位，由此也看了很多讲Python的书，但看的时候感觉好像懂了，但过了一段时间后又忘了，也就是说单纯看书很难将某一项技术完全内化。当然技能的掌握必然要从实践中来，但是我发现在使用Python开发程序时，我总是使用它的一部分功能就够了，或者说居于我的思维模式限制，我在使用python开发时总是落入一个套路，这使得我只能掌握python技术的冰山一角，就如同井底之蛙一样只了解一小块内容，为了能够打破认知局限，让我自己能更全面的对python的设计原理有更深入的了解，我打算尝试做一个能运行的python编译器。

2021-12-20

3230

内核级python：编译器的词法和语法解析基本原理

python在收到代码内容后，首先要启动两个流程，分别为词法解析和语法解析。看过我编译原理课程的同学对这两个流程应该不陌生。词法解析其实就是把代码里面不同的元素分别归类，例如234，1.35，1e3等这类字符串统一用一个标志或数字来表示，通常它们的标志为NUMBER，对应字符串pi, age等这类变量名统一用标志来表示，例如使用NAME，于是整篇代码会一下子浓缩成一系列标志的排列，例如表达式 a = 100 + 10 就变成了 NAME = NUMBER + NUMBER。

2021-11-15

5120

内核级python:调试Python编译器源码

ide python 编程算法

python编译器在执行时，给它指定要执行的源码文件，或者说直接输入源码字符串就可以驱动脚本的执行流程，其基本框架如下：

2021-10-21

8130

内核级pyhon:编译python编译器和语法修改

python 打包 ide

现在一涉及到编程语言几乎就离不开python，甚至这门语言已经成了割韭菜的手段，各种1元学习python的引流课程层出不穷，从这些现象可以体会到python语法设计之成功。它基本上实现了其创作者的初衷：简单易懂，它的优美就如同白居易的诗：“老妪能懂”。

2021-10-11

6700

使用ProtocolBuffer实现网络协议二进制格式

编程算法打包 ide 数据结构 c++

1.综述客户端与服务器交互时都需要双方协商，确定消息的二进制格式。客户端在向服务器发起请求时会根据协议创建二进制数据块，然后依托tcp, udp, http等协议将二进制内容传递给服务器，后者根据协议的规则按照特定次序从接收到的二进制内存块中读取给定字段。

2021-07-30

6350

人脸识别系统的原理与设计：Protocol Buffer，Tensorflow专有神经网络训练的数据结构

json 编程算法数据结构 java ide

前几节我们花费大量精力准备了用于后续网络训练的数据，但这些数据依然以图片附带一个说明文本的方式存储，在网络训练时需要有效的将它们加载到内存，到时候IO将是网络训练效率的一大瓶颈，事实上在涉及到深度学习的具体项目中，数据IO本身就是一个问题。

2021-03-15

5060

GOT段在linux系统中实现代码动态加载的作用和其他段的说明

go 网站 ide java

上一节我们看到，当程序想调用系统函数时，在编译阶段无法确认被调用函数所在的虚拟地址。因此必须有机制让程序在运行过程中，在调用系统API的时候有办法去确定所调用的系统函数对应的入口地址，这就是代码运行时对应动态加载的过程。

2020-12-01

2.2K0

探索ELF可执行文件的“干货”:段头表和段的基本介绍

数据结构 go 编程算法存储 ide

可执行文件的数据结构通常都很复杂和繁琐。原因在于程序在加载到内存中执行时需要经过一系列非常复杂的步骤。例如要计算数据或代码被加载到虚拟内存时的位置，计算重定向数值，实现不同代码的链接等。

2020-11-13

1.3K0

高级静态分析技能基础:X86架构的堆栈结构描述

单片机存储 ide tcp/ip

在代码运行时需要临时存放各种信息，例如函数调用时的输入参数，局部变量等，这些信息存储在一种叫做”栈“的数据结构上。它的特点是后进先出，也就是最后存储到栈里面的数据将会最先被取出来。X86体系自带栈结构，寄存器ESP,EBP专门用于对栈进行操作。EBP指向栈所在的内存地址，ES[图片上传中…(截屏2020-09-30 下午3.56.59.png-a3f002-1601452956326-0)] P指向数据进入或弹出堆栈所在的位置，同时对于栈操作的指令有push,pop,call,leave,enter,ret等。

2020-10-26

7300

详解ELF重定向原理

网站编程算法打包 ide gcc

重定向是计算机技术中非常底层的概念和操作。它指的是将程序中涉及到的变量名与变量在计算机内存中的位置关联起来。当在代码中执行类似x=1;的语句时，编译器需要通过重定向信息找到变量x对应的内存位置，然后将数值1写入该内存，因此重定向既跟程序的加载链接有关，又与编译原理有关，因此对计算机体系结构不了解，或只关注上层应用开发，对底层技术理解不多的同学对它进行掌握就会有些困难。

2020-08-26

2.2K1

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态