关于llvm kaleidoscope: 记一次Debug血泪之路
关于llvm kaleidoscope: 记一次Debug血泪之路
简而言之，慎(bu)用(yong)全局变量！
这次debug基本上花了我一周的时间，我基本上是晚上9点30下自习回然后调试到11点30，如此反复一周直到今天周五终于解决了，，以前都听说前辈们 说尽量不要使用全局变量，我只当个笑话顺而过，今天我可能走了前辈们的老路，我实在忍不住要告诫各位请慎用全局变量，如果不当笑话对待这点那这篇文章目的就达到了，后面可以省略了。
以下是可以被省略的正文。上学期到这学期始我林林总总写过几个编译器前端，有lexyacc自底向上自动生成的也有手写词法分析自顶向下的递归下降分析，但是还从来没做过后端，一来是感觉自己差点火候二来也太懒感觉量大繁琐。这学期开学偶然在知乎听说llvm有成熟的代码生成优化以及到到目标机器的代码生成，想来自己看了那么多theory还从来没有实践过真正的编译器，说不遗憾肯定是假的，然后我翻了一遍llvm documentation发现有个极简编译器kaleidoscope的demo，于是准备撸起袖子实现一遍，官方demo是linux下的，我用visual studio 2015实现了一遍，然后稍微把它面向对象了一番。问题就在这里的“稍微”，我只把词法分析语法分析用面向对象进行表示，其余部分用demo里的静态/全局变量/函数。直到LLVM IR代码生成都是熟悉的味道熟悉的套路，但是到了chapter4添加了一个优化器和JIT解释器就遇到了九天神坑，首先一大堆LINK ERRORs，好在都在接受范围内，编译了一大堆依赖项后编译通过了。当我输入一个表达式"1+2"就出现了nullptr异常，然后我从startup开始很自然的进入parser.parserDriver();
int main() {
llvm::InitializeNativeTarget();
llvm::InitializeNativeTargetAsmPrinter();
llvm::InitializeNativeTargetAsmParser();
kaleidoscope::Parser parser;
fprintf(stderr, ">> ");
parser.getNextToken();
theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();
initializeModuleAndPassManager();
parser.parserDriver();
return 0;
}进入parserDriver后大概长这个样子
/// top ::= definition | external | expression | ';'
void kaleidoscope::Parser::parserDriver() {
while (true) {
fprintf(stderr, ">> ");
switch (currentToken) {
case Token::TokenEOF:
return;
case ';': // ignore top-level semicolons.
getNextToken();
break;
case Token::TokenDef:
handleFunctionDefinition();
break;
case Token::TokenExtern:
handleExtern();
break;
default:
handleTopLevelExpression();
break;
}
}
}这里由于我输入的是"1+2"在kaleidoscope的定义里面应该属于toplevelexpression，继续跟踪handleTopLevelExpression(),
void kaleidoscope::Parser::handleTopLevelExpression() {
if (auto funcAST = parseTopLevelExpr()) {
if (funcAST->codegen()) {
//omit these codes...
}
}
else {
getNextToken();
}
}我也不清楚到底是解析表达式错误还是代码生成，先进parserTopLevelExpr下了断点看了一下函数正常返回，排除解析错误那接下来就是代码生成
llvm::Function * FunctionAST::codegen() {
auto & p = *(this->funcProto);
funcPrototypeMap[this->funcProto->getFunctionName()] = std::move(this->funcProto);
llvm::Function * theFunction = getSpecifiedFunction(p.getFunctionName());
//omit...
}逐语句跑了一遍发现是第三行引发的异常，断点显式getFunctionName没有问题，那肯定就是函数问题了，继续跟踪getSpecifiedFunction
static llvm::Function * getSpecifiedFunction(std::string name) {
// First, see if the function has already been added to the current module.
if (auto *F = theModule->getFunction(name))
return F;
// If not, check whether we can codegen the declaration from some existing
// prototype.
auto FI = funcPrototypeMap.find(name);
if (FI != funcPrototypeMap.end())
return FI->second->codegen();
// If no existing prototype exists, return null.
return nullptr;
}逐语句发现是对llvm::Module::getFunction的问题，getFunction在module的符号表查询指定的函数如果不存在就返回null
Function *Module::getFunction(StringRef Name) const {
return dyn_cast_or_null<Function>(getNamedValue(Name));
}继续getNamedValue()
GlobalValue *Module::getNamedValue(StringRef Name) const {
return cast_or_null<GlobalValue>(getValueSymbolTable().lookup(Name));
}问题就在这里了，异常显示的this is nullptr也就是说getValueSymbolTable返回的是nullptr理所当然后面的lookup成员函数调用出错，进入getValueSymbolTable
/// Get the symbol table of global variable and function identifiers
const ValueSymbolTable &getValueSymbolTable() const { return *ValSymTab; }这是Module类的一个函数，返回private ValueSymbolTable *ValSymTab;而ValSymTab在module初始化的时候会分配内存
Module::Module(StringRef MID, LLVMContext &C)
: Context(C), Materializer(), ModuleID(MID), SourceFileName(MID), DL("") {
ValSymTab = new ValueSymbolTable();
NamedMDSymTab = new StringMap<NamedMDNode *>();
Context.addModule(this);
}但是这里ValSymTab指向的内存却是没有分配。我想应该是堆不够的问题，我相信我的电脑，没有为什么，然后剩下的可能就是theModule变量出现了问题。纵观整个解决方案，用到static std::unique_ptr<llvm::Module> theModule;也就initializeModuleAndPassManager(),getSpecifiedFunction(std::string name),我 先是构跟踪n了itializeModuleAndPassManager()，回到main，断点显式theJIT没有问题（这里多说一句，在windows下KaleidoscopeJIT里面的if (auto Sym = CompileLayer.findSymbolIn(H, Name, true))应该改成false否则会出现问题，这也是个坑），进入initializeModuleAndPassManager()
int main() {
llvm::InitializeNativeTarget();
llvm::InitializeNativeTargetAsmPrinter();
llvm::InitializeNativeTargetAsmParser();
kaleidoscope::Parser parser;
fprintf(stderr, ">> ");
parser.getNextToken();
theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();
initializeModuleAndPassManager();
parser.parserDriver();
return 0;
}断点显示变量都没问题了，都正常被赋值了，wtf？难道我之前跟踪错了？诡异的事情发生了，我顺手给theModule加了个监控，虽然在这个initializeModuleAndPassManager里面theModule没有任何问题，但是进入parser.parserDriver后突然监控显示变量就出现问题了，我真是一脸懵逼，parser.parserDriver()根本没有对theModule的操作啊，为什么无缘无故变量的值会变，我都不知道看了多少遍源码，终于发现AST.h里面的theModule是按照官方demo的写法是static变量，我隐约记得全局static变量只能在文件内使用，而我在codegen的文件内直接引用了它，虽然不明白为什么会过编译但所幸发现了问题，去掉static后LINKERROR报错显示这几个变量重定义，因为多次include .h文件变量会多次定义，最后放到.cpp编译通过输入"1+2"显示"evaluate to 3.00000"莫名感动。
回想起这惨痛的debug经历深感惭愧，感觉写多了业务逻辑代码脑子里好像少了一种思考的东西，忘记了很多基础，遇到问题就无脑baidu google，稍微解决不了就换库换包， 一直顺风顺水没怎么自己努力解决过问题，没想过有些东西换上千百次都不会变。痛定思痛，文以记之。