clang 源码导读（8）：词法分析和预处理指令
Lex
clangLex 负责词法分析和预处理，处理宏、令牌和 pragma 构造
本文会通过实际的例子对 clangLex 的 词法分析 和 预处理指令 相关流程进行分享
下面是本文涉及到一些重要类型(有删减)：
Token 包含了 词法分析 后的token，它包含诸如 在源码中的位置、类型 等各类信息
Lexer 负责将 文本 转为 Token
Preprocessor 是负责与 Lexer 进行预处理和配合Lexer 进行词法分析
IdentifierTable 维护 string 与 IdentifierInfo 的映射关系，类似于字典
IdentifierInfo 记录了 Token 的各种重要信息（是否属于编程语言的关键字，是否是函数名、变量名）
Token与IdentifierInfo的区别是：IdentifierInfo是经过精简并进行了内存占用优化
DiagnosticsEngine 提供 issues 报告的功能
词法分析
本节以下面的代码的函数返回值 void 为例介绍 词法分析 的流程：
void testC() {
}
本段结束后，会有一个流程图，方便对本节内容理解和记忆
Preprocessor::Initialize函数在被初始化调用时，会通过IdentifierTable的AddKeywords方法先初始化 编程语言关键字
image编程语言关键字 是指对编程语言有特殊含义的单词。比如，void 代表 空，是所有 c家族语 言的 关键字TokenKinds.def 维护了不同编程语言的 关键字
AddKeyword最终会更新IdentifierTable的内容
image
Parser会通过Preprocessor::Lex调用Lexer::Lex函数
image
Lexer::Lex函数会先通过Result.startToken函数，准备接收一个新的Token，并做一些预备工作；然后调用Lexer::LexTokenInternal函数
image
Lexer::LexTokenInternal函数会依次解析每个字符，当检测到以字符v开头后，会调用Lexer::LexIdentifier函数
image
Lexer::LexIdentifier函数会先通过while 循环的方式，将CurPtr指向testC
image随后，会调用 FormTokenWithChars 函数更新 Token，Token 类型是 tok::raw_identifier
image
FormTokenWithChars函数会更新Token的长度、位置、类型 信息
image
- 随后，
LexIdentifier函数会调用setRawIdentifierData更新Token的PtrData属性 更新完成后，就可以通过Result.getRawIdentifier().str()获取到Token对应的 原始字符串 当Token是tok::raw_identifier类型时，PtrData就会指向 原始字符串
image
- 再调用
Preprocessor的LookUpIdentifierInfo函数更新Token的信息
image
LookUpIdentifierInfo函数会调用getIdentifierInfo查找标识信息（参数就是void）
image
getIdentifierInfo会直接转发给IdentifierTable::get函数进行下一步处理
image
IdentifierTable::get会根据名字查找对应IdentifierInfo因为void是 编程语言关键字，所以，会返回通过Identifiers.AddKeywords(LangOpts)函数提交 语言关键字 void查找失败，会创建一个新的IdentifierInfo示例
image
- 返回
LookUpIdentifierInfo函数后，会根据IdentifierInfo的信息更新Token，并返回IIIdentifier.setIdentifierInfo(II)更新PtrDataIdentifier.setKind(II->getTokenID());更新Kind
image
- 至此，
Lexer::LexIdentifier函数就完成了将void解析为Token的使命
image
附: 词法分析 的流程图：
预处理指令
本节以 #pragma GCC poison 为例，介绍 预处理指令 的过程
#pragma clang poison是一个预处理指令，可以实现禁止源码中出现某些标识符。 读者可以尝试在任意源码添加下面的示例片段，看看能否编程成功 更多相关知识，可以点击这个链接
#pragma clang poison testC testB
void testC() {
}
void testB() {
testC();
}
初始化阶段
预处理器 初始化时会保存传入的Diags，并会创建一个匿名的 PragmaNamespace，并调用 RegisterBuiltinPragmas 函数
image
RegisterBuiltinPragmas 函数会生成 PragmaPoisonHandler 的实例，并通过函数 AddPragmaHandler 进行注册
image
函数 AddPragmaHandler 会根据 Namespace 参数决定是否由Preprocessor 直接持有
本例中
#pragma clang poison存在一个命名空间：clang，所以会 间接持有
image
为了方便理解，我们可以看看下面两种持有方式：
#pragma once#pragma marker是由Preprocessor直接持有
> `PragmaNamespace_anonymous` 是未命名的 `PragmaNamespace` 实例
> `PragmaNamespace` 是名字为 `clang` 的实例
词法分析阶段
- 当
Lexer的LexTokenInternal函数进行 词法分析 时，会检测到 字符#，此时，程序会转到会转到LexTokenInternal函数的HandleDirective:处理
image
HandleDirective:会调用PP(预处理器) 的HandleDirective函数进行处理
image
HandleDirective函数通过LexUnexpandedToken函数解析下一个Token（pragma）
image随后，分发给 HandlePragmaDirective 函数处理
image
HandlePragmaDirective函数会调用PragmaHandlers的HandlePragma函数进行下一步的处理
image
HandlePragma函数会先解析下一个Token，并根据Token的名字poison找到PragmaPoisonHandler进行下一步的处理
image
PragmaPoisonHandler::HandlePragma的逻辑很简单，会直接调用Preprocessor的HandlePragmaPoison函数进行下一步处理
image
HandlePragmaPoison会不停地通过LexUnexpandedToken(Tok)读取Token，并调用IdentifierInfo的setIsPoisoned()方法
xx
setIsPoisoned()函数会将IdentifierInfo的IsPoisoned和NeedsHandleIdentifier置为 true
image
检测&保存
- 后续进行 词法分析 时，
Lexer::LexIdentifier函数会先检测IdentifierInfo的NeedsHandleIdentifier是否等于 true，并回调HandleIdentifier进行下一步处理
image
HandleIdentifier函数会在检测到CurPPLexer并且IsPoisoned等于 true 时，调用HandlePoisonedIdentifier函数进行下一步处理
image
HandlePoisonedIdentifier函数会调用一个Diag函数，参数是Token和diag::err_pp_used_poisoned_id
image
Diag函数先获取Tok的位置，并通过初始化阶段传入的Diags抛出异常
image
diag::err_pp_used_poisoned_id 对应的含义可以从clang/include/clang/Basic/DiagnosticLexKinds.td 获取
附：预处理 流程图
总结
本文通过实际的例子对 clangLex 的 词法分析 和 预处理指令 流程进行了总结和分享，并提供了对应的 流程图
点个在看少个 bug ?