自从2014年Apple发布Swift语言以来，历时六年多，Swift已经发布到5.3版本，在5.0版本已经ABI stability，5.2版本也已经module stability，不管是语言还是基础库都日趋稳定，目前国内外大厂也都积极拥抱Swift阵营。
LLVM的下载 由于国内的网络限制，我们需要借助镜像来下载LLVM的源码： https://mirror.tuna.tsinghua.edu.cn/help/llvm/ 执行如下命令下载LLVM项目
在目前的LLVM中存在两套Pass相关的机制，一套是基本上已经过时的被称为LegacyPass的机制（codegen的部分还没有迁移完毕），另一套则是现在主要使用的Pass机制
只要你和程序打交道，了解编译器架构就会令你受益无穷——无论是分析程序效率，还是模拟新的处理器和操作系统。通过本文介绍，即使你对编译器原本一知半解，也能开始用LLVM，来完成有意思的工作。
之前的文章基于MLIR中的Toy教程添加了操作OrOp，并从Toy Dialect降级到了Standard Op。本文主要记录了最终降级到LLVM Dialect并调用LLVM JIT执行的过程。
LLVM的编译过程相当复杂，iOS代码运行需要经过：预处理、编译、汇编、链接四个关键阶段，具体的流程如下图：
AddressSanitizer是Google用于检测内存各种buffer overflow(Heap buffer overflow, Stack buffer overflow, Global buffer overflow)的一个非常有用的工具。该工具是一个LLVM的Pass，现已集成至llvm中，要是用它可以通过-fsanitizer=address选项使用它。AddressSanitizer的源码位于/lib/Transforms/Instrumentation/AddressSanitizer.cpp中，Runtime-library的源码在llvm的另一个项目compiler-rt的/lib/asan文件夹中。
从reddit/hackernews/lobsters/meetingcpp摘抄一些c++动态。
继续深度学习编译器的优化工作解读，本篇文章要介绍的是OneFlow系统中如何基于MLIR实现Layerout Transform。在2D卷积神经网络中，除了NCHW数据格式之外一般还存在NHWC的数据格式，对于卷积操作来说使用NHWC格式进行计算可能会获得更好的性能。但深度学习网络的训练一般来说是采用NCHW进行的，我们一般只有在推理时才做NCHW到NHWC的Layerout Transform。这里存在两个问题：首先对于一个算子比如Conv2D，它以NCHW方式训练时保存的权重格式是[out_channels, in_channels, *kernel_size]，但是要以NHWC格式进行推理时我们需要对权重的格式进行转换；然后对于没有权重的算子来说，我们也需要尽量的让算子支持NHWC的运算，来减少因为卷积算子前后插入的Transpose操作带来的额外开销。举个例子，假设有如下的一个小网络 x->conv->relu->conv->relu->out，如果我们要以NHWC格式执行那么我们除了对2个卷积的权重进行改动之外，我们还需要在conv前后插入transpose来修改输入到conv算子的数据格式，也就是x->transpose(0, 2, 3, 1)->conv->transpose(0, 3, 1, 2) -> relu -> transpose(0, 2, 3, 1)->conv->transpose(0, 3, 1, 2) -> relu->out。然后细心的读者可以发现，实际上这里存在很多冗余的Transpose，因为ReLU是支持以NHWC格式进行运算的，那么这个网络可以化简为x->transpose(0, 2, 3, 1)->conv->relu->conv->relu->transpose(0, 3, 1, 2)->out。这样可以减少一半的Transpose Op开销。
DOTS是Unity一个阶段性的转变，也是Unity蓝图上一个非常重要的里程碑节点。Unity的官网为它建立了主题链接，甚至打出了阶段性的口号： 重建Unity的核心！，可见Unity对DOTS的重视程度。
为了控制 clang 的运行，clang 必须支持不同的参数对各种行为进行控制，所以，clang driver 启动后的第一个主要任务就是 参数解析
LLVM的优化和转换工作就需要通过PASS来进行，就像下面这种图，PASS就像流水线上的操作工一样对中间代码IR进行优化，每个PASS完成特定的优化工作。
其实前面讲算法的文章，也有提到过。比如适用于双向队列的 deque，以及在合适的条件下运用 bisect 和 heapq 来提升算法的性能。
从工程角度来看，对日志流量进行分析是安全业务研发的重要内容。如果将与“坏人”进行安全对抗比作一场长期持久的战争，那么特征计算系统就是对抗“坏人”的重要武器系统。该系统的功能是消费日志流，进行分析计算，并输出特征信息。在传统模式下，各个特征计算模块分散、无管理、缺乏标准化，难以与其他武器系统对接，导致特征开发效率低下，进而使特征计算武器系统的威力不足。
大概4个月前开始接触TVM，虽然是0经验开始看，但目前对TVM的IR以及Pass，Codegen，Scheduler等也有了一些基础的认识。所以这篇文章的目的是梳理一下TVM的整体架构，复盘一下自己学到了什么，以及为想学习TVM的小伙伴们提供一个整体思路。「从零开始学深度学习编译器」这个专题的文章和实验代码都被我汇总放到了https://github.com/BBuf/tvm_learn这个仓库中，当然是希望「大力点一下Star了」，感激不尽。仓库目录如下：
在这篇文章中，我会总结最近对iOS开发内存课题的查阅和学习，文章的中心还是围绕着面试题来的。因为网上目前确实存在着很多的面试题和答案，但他们大多数都是拷贝粘贴，甚至答案都是错的。
这篇文章对MLIR的Pattern Rewrite机制进行翻译和总结。这几篇文档分别是https://mlir.llvm.org/docs/PatternRewriter/ 和 https://mlir.llvm.org/docs/Rationale/RationaleGenericDAGRewriter/ 和 https://mlir.llvm.org/docs/Canonicalization/。下面的第一节是阅读并翻译了这三篇文档之后的要点总结，方便读者可以快速把握这三篇文档的核心内容。
MLIR提供了一种Toy语言来说明MLIR的定义和执行的流程。Toy语言是一种基于张量的语言，我们可以使用它来定义函数，执行一些数学计算以及输出结果。下面要介绍的例子中限制Tensor的维度是<=2的，并且Toy语言中唯一的数据类型是64位浮点类型，对应C语言中的"double"。另外Values是不可以重写的，即每个操作都会返回一个新分配的值，并自动管理释放。直接看下面这个例子：
ImmutableList 顾名思义，即不可变链表。它是一种可持久化数据结构，在进行插入或删除操作时并不对原先的数据结构进行改动，而是创建一个新的拷贝。关于可持久化数据结构，可以参考维基百科：Persistent_data_structure
以前，我总谈到编程是从xaas开始，到langsys到 domainstack到app的四栈叠加过程，语言因为平台也有本质上的二种：toolchain式和app式，历史上，人们总是企图从toolchain式语言上封装一次，在这上面发展app语言，这使得任何一种app都有了平台相关性，这种相关性或是CPU架构，OS的，或是toolchain libc。所以才会有那些移殖性的讨论和软件虚拟机语言（它们将平台重新发明了一次，以封装相异）和实现品，并在这上面长足发展了很多开发理念和实践。
2000年，伊利诺伊大学厄巴纳－香槟分校（University of Illinois at Urbana-Champaign 简称UIUC）这所享有世界声望的一流公立研究型大学的 Chris Lattner（他的 twitter @clattner_llvm ） 开发了一个叫作 Low Level Virtual Machine 的编译器开发工具套件，后来涉及范围越来越大，可以用于常规编译器，JIT编译器，汇编器，调试器，静态分析工具等一系列跟编程语言相关的工作，于是就把简称 LLVM 这个简称作为了正式的名字。Chris Lattner 后来又开发了 Clang，使得 LLVM 直接挑战 GCC 的地位。2012年，LLVM 获得美国计算机学会 ACM 的软件系统大奖，和 UNIX，WWW，TCP/IP，Tex，JAVA 等齐名。
时间大约在2015年，Arm第一次在 MDK 5.20 中引入了Arm Compiler 6（那时候的版本是 6.9），正式拉开了Arm官方编译器从第五版（armcc）到第六版（armclang）升级替换的序幕……
这题是一个魔改的httpd，Content-Length小于0时存在格式化串漏洞，leak后写one_gadget即可
上一期我们讲到了每个Pass基本的结构，这期我们从PassManager开始讲述Pass从创建到执行的整个流程，以及涉及到的种种问题
https://github.com/hunterzju/llvm-tutorial
前 言 / 2022.7.22 近日，在CppNorth开发者大会上，谷歌工程师Chandler Carruth宣布了名为“Carbon”的全新开发语言，目前已在GitHub开源，并号称它将是C++的实验性继任者。 01 Carbon特点优势 正如我们熟知的，C++ 是 C 语言的继承者，TypeScript 是 JavaScript 的继承者，Swift 是 Objective-C 的继承者，而 Kotlin 又是 Java 的继承者 。 双向互操作性 那么，C++ 的继承者会是哪一个？Rust 或者是
【省流】上次介绍了深度学习编译器之Layerout Transform优化 ，在这篇文章中提到还会介绍常量折叠优化Pass的实现，但在介绍常量折叠Pass之前我想再介绍一个类似的优化方法也就是公共子表达式消除实现（CSE）。仍然是以OneFlow中基于MLIR进行实现的CSE Pass为例子来讲解。在解析代码实现的过程中，我发现基于MLIR来做公共子表达式消除的时候还顺带做了死代码消除的功能。另外，在考虑公共子表达式消除的时候需要保证两个重复的操作处于同一个基本块中以及两个重复操作之间没有其它具有副作用的操作才可以消除。在OneFlow的实现中只是对OneFlow的UserOp的特殊属性即OpName和SymbolID进行了擦除，用一个魔法属性来代替，这是因为这两个属性不应该去影响公共子表达式的消除。这个优化还是比较有用的，在OneFlow的Stable Diffusion优化中发挥了不小的作用。
Python 的运行速度确实没有 C 或者 Java 快，但是有一些项目正在努力让 Python 变得更快。
Clangen使用 ClangSharp解析头文件来完成一些中间代码的生成(如Rpc的注册代码, 桩代码, C++类导出到Lua的代码等). 而ClangSharp本身依赖了llvm, 以及自己的一个libClangSharp的库, windows和linux下需要编译一下llvm和这个库, 一般来说系统没变的情况下, 直接使用已经编译好的libclang.so/dll即可, 但有些时候遇到需要升级llvm到高版本的情况, 比如说我们之前碰到的情况 , llvm9在linux下运行速度异常(Windows下10S的流程, 在linux下处理同样的任务要快3分钟, 最后发现可能之前编译使用的是debug版本), 我们需要编译LLVM, 并且编译依赖llvm的libClangSharp, 官方文件比较简单, 而且配置项有一些问题, 可能导致不能正常编译, 所以这里记录下过程方便后续有相关需求的时候可以参照处理.
工欲善其事必先利其器，优雅的代码离不开静态代码检查工具，大家可能平时使用较多的是cppcheck，但今天我想跟大家分享另一个静态代码检查工具clang-tidy。
一直以来，我都维护了完整的 GCC 工具链构建工具 和 LLVM,Clang,libc++,libc++abi工具链构建工具 。 一方面是为了测试和体验新版本编译器的功能和利用一些更现代化的工具检查代码中的风险，另一方面也是为了给我得很多开源仓库做多版本适配。 其中所有的编译期依赖项（不包括 tar,awk等可执行程序的工具）都是自己构建的，这样也能管理好某些新版本组件需要的新版本依赖项，并且做到跨发行版兼容。同时很多发行版自带的 LLVM+Clang 套件都缺斤少两，有的缺少 clang-analyzer ，有的缺少 clang-format ，也有的缺少 libc++ 和 libc++abi 或者缺少sanitizer组件。我也是根据自己的需要编译并输出了大多数开发工具，甚至还有一些开发库以便二次开发（比如用libclang写工具来复用libcang的AST功能）。
在上一节中，我们将Toy Dialect的部分Operation Lowering到Affine Dialect，MemRef Dialect和Standard Dialect，而toy.print操作保持不变，所以又被叫作部分Lowering。通过这个Lowering可以将Toy Dialect的Operation更底层的实现逻辑表达出来，以寻求更多的优化机会，得到更好的MLIR表达式。这一节，我们将在上一节得到的混合型MLIR表达式完全Lowering到LLVM Dialect上，然后生成LLVM IR，并且我们可以使用MLIR的JIT编译引擎来运行最终的MLIR表达式并输出计算结果。
编译器信息最新动态推荐关注hellogcc公众号 本周更新 2022-03-16 第141期
官方描述如下： The LLVM Project is a collection of modular and reusable compiler and toolchain technologies. Despite its name, LLVM has little to do with traditional virtual machines. The name "LLVM" itself is not an acronym; it is the full name of the project.
clang 编译器前端负责从源码生成中间码，它通常由 clang 模块驱动，并通常包含以下几个步骤：
1.4 在llvm同级目录下新建llvm_build和llvm_release两个文件夹，llvm是编译起始文件夹，llvm_release则是编译结果文件夹
http://releases.llvm.org/download.html#6.0.1
llvm核心类位于 include/llvm/IR中，用以表示机器无关且表现力极强的LLVM IR。
Xcode现在使用的编译器就是LLVM。LLVM比以前使用的GCC编译器速度快好几倍。并且LLVM可以编译 Kotlin，Ruby，Python，Haskell，Java，D，PHP，Pure，Lua 和许多其他语言。
How to build clang~ Firstly, you need download and install CMake, a article about how to study CMake for new leaner. Secondly, make directory and download the LLVM source code: //make directory cd /opt sudo mkdir llvm sudo chown `whoami` llvm cd llvm
元编程这个概念本身不新，只是没有发现原来很早就在用这个东西，所以python等下再聊，先理一理怎么理解编程这个事情。 我仔细思考，其实是在做一件设计想法，纪录想法，实现想法的过程。 怎么样设计想法？应该需要一些图形，文字通过一定格式纪录下来，反复修改，最好是有一个规范或者工具让其他人也能明白和理解，方便交流。这个问题在编程这里也就是进入到编程语言的选择上面来，也可以自己制定一个规范，不管你用lex+yacc语法制导还是设计LLVM的AST，反正结果是要一种编程语言来设计你的想法。 选定了设计想法的规范也就是编程语言，现在就是怎么样来纪录想法，显而易见不可能是流水账式的纪录，你得把想法重点理清楚，想法的关键字是什么，有些什么用途，有没有关联的事务，这里就是纪录想法的格式，对应到编程就是你用什么设计模式，你是用传统的类继承，还是鸭子类型的接口或者猴子补丁的方式来纪录想法。 有了纪录的想法图纸，对应到编程就是静态的代码字面量，就能真正的实现想法，根据想法图纸生成真实的对象。 这个过程和元编程有什么关系？如果你明白上面的过程，我就可以这样描述：lex+yacc可以创建编程语言，编程语言可以创建元编程，元编程可以创建类，类可以创建对象实例。 那到底什么是元编程呢，C++里面他的实现叫做模板和宏，python里面他可以用装饰器实现，也可以用type元类型实现，他是在编程语言和类之间的一层设计技术，yacc生成的对象是编程语言，编程语言生成的对象是元编程对象，元编程对象生成的对象是类，类生成的对象是实例。 C的宏和模板出现得很早很早，本质也很简单，就像是一份留白的合同，你填上名字就能用。 python对象有2个重要的容器，一个是继承元组，一个是属性字典，所有的属性包括方法都是放在属性字典里面，这个2个容器在init之前就已经生成好，如果你要在init之前做一些处理，比如捕获子类的属性名把字符串类型的属性名前面都加上str，把方法名首字符都大写，强制子类使用一些编程规约，还或者加载一些缓存的数据，实现方法重载等等。当然子类可以在init做自己的处理，如果你是一个框架的设计者，自动化一些背后的处理确实看起来很高级。所以元编程的本质就是一种增加乐趣的玩具，应为编码很枯燥的。
LLVM 支持“intrinsic function”的概念。这些函数具有众所周知的名称和语义，并且需要遵循某些限制。总的来说，这些 intrinsic 代表 LLVM 语言的扩展机制，在添加到语言(或者位码读取器/写入器、解析器等)时不需要更改 LLVM 中的所有转换。
LLVM是构架编译器(compiler)的框架系统，以C++编写而成，用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time)，对开发者保持开放，并兼容已有脚本。LLVM计划启动于2000年，最初由University of Illinois at Urbana-Champaign的Chris Lattner主持开展。2006年Chris Lattner加盟Apple Inc.并致力于LLVM在Apple开发体系中的应用。Apple也是LLVM计划的主要资助者[引自百度百科]。
Objective-C是一门动态语言，具有运行时的特性，所以能选择的方案比较多，常用的有：method swizzle，message forward(aspect库)，libffi，fishhook。但列举的这些方案只能实现函数切片，也就是在函数的调用前或者调用后进行Hook，但
LLVM ： 全称是这个Low Level Virtual Machine，底层虚拟机，名字是带有虚拟机，但是现在早已和虚拟机没有任何关系了. 是整个LLVM项目，我目前了解的有5部分.
LLVM makes it easier to not only create new languages, but to enhance the development of existing ones. It provides tools for automating many of the most thankless parts of the task of language creation: creating a compiler, porting the outputted code to multiple platforms and architectures, generating architecture-specific optimizations such as vectorization, and writing code to handle common language metaphors like exceptions. Its liberal licensing means it can be freely reused as a software component or deployed as a service.
###ubuntu 12.04 安装llvm3.4、ios-lang交叉编译环境小记 在ubuntu 12.04上先安装gcc-4.8，然后安装llvm,clang,libcxx,libcxxabi.由于libcxx和libcxxabi相互依赖，需要两次安装libcxx。最后安装theos等开放的ios开发工具链 安装gcc-4.8如前文所述install gcc4.8 on ubuntu 12.04 安装llvm,clang /etc/apt/sources.list中添加如下两行：
opt提供了很多pass，例如检测代码中的死循环、对代码中的memcpy优化、遍历全部函数分析调用关系等等。
dlopen动态加载llvmjit.so，并调用so中的_PG_jit_provider_init初始化：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
