Hive源码系列（六）编译模块之词法、语法解析 （上）

词法、语法解析模块会先介绍一下antlr环境（上）。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了（中）。 最后 详细介绍hive词法、语法解析的源码 以及hive AstTree的使用 （下）

1、什么是词法分析、什么是语法分析

这一块该怎么说呢？

通常我们在沟通的时候，都会说一段话来表达自己的观点。而我们说的这些话，是由若干有逻辑联系的句子组成。句子是有若干词语构成的，就像一层一层的洋葱。词语或者叫单词就是那些无法再拆分的最小的具有概念意义的单位。词语是由字母有序组成的，但字母不具备概念意义。以单词为分界线，单词之上的，组成结构的元素都是具有概念意义的。单词以下，组成结构的元素都是没有概念意义的。

举个例子，现在有一句话：

we eat apples

我们可以看到,这句话中有三个单词组成 we,eat,apples。每个单词又由字母有序排列组成。we，eat，apples 这三个单词是具有实际意义的，而组成这些单词的字母w,e;e,a,t;a,p,p,l,e,s 本身是没有实际含义的，只有有序组成we,eat,apples 这些单词的时候，才赋予了具体的概念意义。

词法分析: 一门研究无意义的字母如何组成有意义的单词的技术

那语法分析又是什么呢？

以上是主+谓+宾结构的一句话,语法顺序为主语—谓语—宾语的结构，we为主词（主语，由名词或者代词组成），eat为动词（谓语由动词组成），apples为名词（宾语由名词或者代词组成）。

那我们规定的这种标准的主谓宾格式，就是所谓的语法

语法分析: 一门研究有意义的单词如何组成更复杂意义的句子的技术。

ps:

可以这么简单理解hive中的词法、语法解析

sql是由若干个单词组成

hive中的词法分析，就是分析sql里每个单词该怎么组成，

hive中的语法分析，就是研究这些单词该以怎样的结构组成一个sql的

2、antlr工作流程

hive借助Antlr定义SQL的词法规则和语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree。HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程，需要前置了解一下antlr是怎么工作的

词法分析器（Lexer）：词法分析器的工作是分析量化那些本来毫无意义的字符流，将他们翻译成离散的字符组（也就是一个一个的Token），供语法分析器使用。

语法分析器（Parser）：语法分析器将把收到的Tokens组织起来，并转换成语法规则定义的所允许的结构。

树分析器(TreeParser)：树分析器可以用于对语法分析生成的抽象语法树进行遍历，并能执行一些相关的操作。

总结一下，使用antlr需要我们提前定义好识别字符流的词法规则和用于解释Token流的语法分析规则。然后，antlr会根据我们提供的语法文件自动生成相应的词法/语法分析器。我们可以利用他们将输入的文本进行编译，并转换成抽象的语法树Ast Tree。

2、antlr环境准备

antlr是编译原理领域比较著名的工具了,这次借助研究hive的机会，安装使用一下antlr。

2.1 安装antlr的集成调试工具antlrworks

下载antlrworks-1.5.1.jar

官网:https://www.antlr.org/download.html

点击ANTLR v3，进入https://www.antlr3.org/download.html

点击下载

2.2 为eclipse安装antlr插件

Help-->Install New SoftWare

输入antlrv3ide 的插件updaesuite 的地址: http://antlrv3ide.sourceforge.net/updates

全选，点Next 直到最后，安装成功

2.3 确认安装是否正确

• antlrworks：

在命令行 start java -jar antlrworks-1.5.1.jar或者双击antlrworks-1.5.1.jar启动antlrworks

如果能打开，就没问题

• eclipse:

打开Windown --> Preferences

可以看到上面插件就说明安装成功了