「上一篇教程：」 https://godweiyang.com/2021/03/18/torch-cpp-cuda
C/C++ 工程提供 Python 接口，有利于融合进 Python 的生态。现在 Python 在应用层，有其得天独厚的优势。尤其因为人工智能和大数据的推波助澜， Python 现在以及未来，将长期是最流行的语言之一。
pybind11是一个轻量级的“Header-only”的库，它将C++的类型暴露给Python，反之亦然。主要用于将已经存在的C++代码绑定到Python。pybind11的目标和语法都类似于boost.python库。利用编译时的内省来推断类型信息。
它使用 xmake.lua 维护项目构建，相比 makefile/CMakeLists.txt，配置语法更加简洁直观，对新手非常友好，短时间内就能快速入门，能够让用户把更多的精力集中在实际的项目开发上。
最近在训练大规模数据时，遇到一个【添加复杂数据增强导致训练模型耗时长】的问题，在学习了 MMDetection 和 MMCV 底层关于 PyTorch 的 CUDA/C++ 拓展之后，我也将一些复杂数据增强实现了 GPU 化，并且详细总结了一些经验，分享此篇文章和工程，希望与大家多多交流。
为什么又要开一个新坑？原因是，最近在做的项目都是和MLIR有关，并且发现自己已经在MLIR的研发道路上越走越远了。刚刚好前段时间大家都在跟风各种GPT，就去看了看openai目前放出来的产品，无意间发现了triton这把瑞士军刀。其实早在一些年前就听过triton，那会的triton代码还没有被MLIR进行重构，代码内部的某些逻辑写的也没有看的很明白，结合"Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations"这篇论文其实也没有看出太多新的东西。这次在重新捡起来看的时候，发现其中很多不错的优化，其实还是抱着学习如何设计MLIR的Dialect来在GPU上生成高性能的代码为初衷，来对triton进行一个深入的分析。
可以把 pybind11 看成是一个胶水，它可以把 C/C++ 语言定义的对象，方便的导出成 python 认识的格式，这样 python 就能直接用了。
大家好，我是Zheng_Bicheng。很高兴和大家分享黑客松比赛中“No.80瑞芯微RK3588：通过Paddle2ONNX打通5个飞桨模型的部署”任务的一些心得体会。 RKNPU2是瑞芯微Rockchip推出的针对RK356X/RK3588/RV1103/RV1106的C++推理工具。在参加黑客松比赛时，FastDeploy仓库[1]还没有集成RKNPU2的引擎。开发者需要使用RKNPU2从头编写代码。在参加完黑客松之后，我为FastDeploy仓库贡献了RKNPU2的后端推理引擎的代码，现在能直接使用FastDeploy快速开发基于RKNPU2的代码。本次教程将以贡献SCRFD模型[2]为例，教你如何给FastDeploy贡献代码。
使用cython编译pyx文件输出c和h文件（带cdef public等定义才会输出头文件）,pyx添加
内容一览：TVM 共有三种安装方法：从源码安装、使用 Docker 镜像安装和 NNPACK Contrib 安装。本文重点介绍如何通过源码安装 TVM。
Clangen使用 ClangSharp解析头文件来完成一些中间代码的生成(如Rpc的注册代码, 桩代码, C++类导出到Lua的代码等). 而ClangSharp本身依赖了llvm, 以及自己的一个libClangSharp的库, windows和linux下需要编译一下llvm和这个库, 一般来说系统没变的情况下, 直接使用已经编译好的libclang.so/dll即可, 但有些时候遇到需要升级llvm到高版本的情况, 比如说我们之前碰到的情况 , llvm9在linux下运行速度异常(Windows下10S的流程, 在linux下处理同样的任务要快3分钟, 最后发现可能之前编译使用的是debug版本), 我们需要编译LLVM, 并且编译依赖llvm的libClangSharp, 官方文件比较简单, 而且配置项有一些问题, 可能导致不能正常编译, 所以这里记录下过程方便后续有相关需求的时候可以参照处理.
目前AI算法开发特别是训练基本都以Python为主，主流的AI计算框架如TensorFlow、PyTorch等都提供了丰富的Python接口。有句话说得好，人生苦短，我用Python。但由于Python属于动态语言，解释执行并缺少成熟的JIT方案，计算密集型场景多核并发受限等原因，很难直接满足较高性能要求的实时Serving需求。在一些对性能要求高的场景下，还是需要使用C/C++来解决。但是如果要求算法同学全部使用C++来开发线上推理服务，成本又非常高，导致开发效率和资源浪费。因此，如果有轻便的方法能将Python和部分C++编写的核心代码结合起来，就能达到既保证开发效率又保证服务性能的效果。本文主要介绍pybind11在腾讯广告多媒体AI Python算法的加速实践，以及过程中的一些经验总结。
IEG 自研引擎 CE 最早支持的脚本是 Lua, 在性能方面, Lua是有一定优势的. 但除此之外的工程组织, 以及现在即将面临的 AI 时代的语料问题, Lua 都很难很好的解决. 在这种情况下, 支持工程组织和语料更丰富的 Python, 就成了优先级较高的任务了. 由于Python的虚拟机以及相关的C API较复杂, 我们选择的方式是将 pybind11 - 一个Python社区知名度比较高, 实现质量也比较高的 Python 导出库与我们引擎的 C++ 反射适配的整合方式, 这样可以在工作量较小的情况下, 支持好 Python 脚本, 同时也能比较好的利用上引擎的C++反射实现. 在做好整合工作前, 我们肯定需要先较深入的了解 pybind11 的相关实现机制, 这也是本篇主要讲述的内容.
PyTorch 提供了大量与神经网络、任意张量代数、数据处理和其他目的相关的操作。然而，您可能仍然需要更定制化的操作。例如，您可能想使用在论文中找到的新型激活函数，或者实现您作为研究的一部分开发的操作。
转变 C/C++的 .h文件为python模块源文件，所有匹配都基于c++限定名，使用正则表达式。
我们编译生成的可执行文件一般，会生成在当前的编译路径下，也就是build或者release路径下。那么如何将编译生成的可执行文件和库文件打包到一起进行发布那？本片教程我们将讲述如何在cmake中配置install的打包路径。下面我们将以mathlib库和头文件为例子进行配置。
深度强化学习（Deep Reinforcement Learning，DRL）一直是近年来人工智能的一些重大突破的核心。然而，尽管 DRL 有了很大的进步，但由于缺乏工具和库，DRL 方法在主流解决方案中仍然难以应用。因此，DRL 仍然主要是以研究形式存在，并没有在现实世界看到许多采用机器学习的应用方案；而解决这个问题就需要更好的工具和框架。
Matterport3DSimulator 可以使用视觉信息（RGB-D 图像）开发与真实 3D 环境交互的 AI Agent，它主要应用于深度强化学习的研究以及自然语言处理和机器人技术的结合技术。
最近因为工作需要，学习了一波CUDA。这里简单记录一下PyTorch自定义CUDA算子的方法，写了一个非常简单的example，再介绍一下正确的PyTorch中CUDA运行时间分析方法。
在正式开始前，我们需要了解 PyTorch 如何自定义module。这其中，最常见的就是在 python 中继承torch.nn.Module，用 PyTorch 中已有的 operator 来组装成自己的模块。这种方式实现简单，但是，计算效率却未必最佳，另外，如果我们想实现的功能过于复杂，可能 PyTorch 中那些已有的函数也没法满足我们的要求。这时，用 C、C++、CUDA 来扩展 PyTorch 的模块就是最佳的选择了。
大家好，我是道哥，今天我为大伙儿解说的技术知识点是：【使用 cmake 来构建跨平台的动态库和应用程序】。
此文章是讲述在window下安装和配置VTK工具包的记录，Vtk，（visualization toolkit）是一个开源的免费软件系统，主要用于三维计算机图形学、图像处理和可视化。Vtk是在面向对象原理的基础上设计和实现的，它的内核是用C++构建的，包含有大约250,000行代码，2000多个类，还包含有几个转换界面，因此也可以自由的通过Java，Tcl/Tk和Python各种语言使用vtk。
参考前文 windows 10安装CUDA和cuDNN，地址是：https://xugaoxiang.com/2019/12/18/windows-10-cuda-cudnn/， 这里不再赘述。
本文主要讲述如何使用CMakeLists.txt，指定当前程序的C++编译标准。
编译输出的文件名必须与PYBIND11_MODULE(tradecpt, module)的tradecpt保持一致
Tensorflow官方在2018年宣布，正式发布支持树莓派版本的Tensorflow，编者开始直接用：
这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等，涵盖多种编程语言 Python、Java、Go、C/C++、Swift...让你在短时间内感受到开源的魅力，对编程产生兴趣！
本教程主要是通过多个例子讲述CMake在构建系统工程过程中遇到的问题，以及使用方法。每一个例子都会提供一套完整的使用demo。
最近在浅尝Pytorch的源码，利用业余时间去品读品读，看着看着，第一次对Pytorch有了重新的认识。 原来现在Pytorch的版图是如此之大，Pytorch已经不是一年前的Pytorch了。
whl文件下载（下载对应python版本的） https://www.lfd.uci.edu/~gohlke/pythonlibs/#libsvm
windows10 下使用visual studio2015 编译MySQL5.7.22
上面几个教程我们的程序都是生成可执行文件。但是我们在合作开发算法的时候经常需要交付的是一个模块，该模块提供特定的算法功能，用于给整体的项目进行调用。但我们又不能直接提供源码，所以我们可以提供一个库文件（静态库或者动态库），配置接口文件可以在不提供源代码的情况下给他人提供算法模块功能。本文主要讲述如何使用CMakeLists.txt，配置生成动态和静态库文件。
CDLL(“dll_name.dll”,winmode=0)加载dll，还有WINDLL、PYDLL
当我们编写 C++ 库的封装器通常涉及使用一种跨语言的接口技术，比如使用C接口或者使用特定的跨语言库，比如SWIG（Simplified Wrapper and Interface Generator）或者Pybind11。这里我将简要介绍如何使用Pybind11来封装一个C++库，以便在Python中使用。
前段时间研究了Pytorch的环境配置，之后便从github上下载了yolov5的源码，并在自己的电脑端配置好对应的环境并运行，最后发现生成的权重文件yolov5s.pt不仅可以通过量化压缩成onxx模型，而且还可以使用TensorRT推理加速生成engine模型，这对使得模型部署在移动端具有很大的优势，于是便尝试着在自己的电脑上通过TensorRT部署yolov5模型。 现在网上有很多可以参考的博客，但大多数都是针对某一个环节进行了仔细的解释说明，这在前期的学习中不免会让人产生云里雾里的感觉，难以从一个全局的角度去看待这个问题，换句话说就是很少有把整个流程先总结下来，先让我们知道需要那些模块，该准备些什么模块，以及这些模块之间又有什么样的联系，然后再细分到各个小模块去说明解释。所以今天就从这个角度去发出，总结一下最近学习的一些内容。在此之前假设你已经掌握了Pytorch、CUDA、cuDNN的基础知识以及配置好了yolov5的环境并调试运行过源码
这段时间除了开发算子之外，还在做一些推荐系统相关的工作，这期间主要看的是HugeCTR的代码，其性能优异，系统不复杂，代码结构较扁平，整体还是比较清晰。在这段时间看源码的过程中也算是对HugeCTR有一点了解，这篇博客主要梳理下HugeCTR代码的结构，以及他在MLPERF中做的一些优化。
1.cmake编辑opencv的源代码路径（带有makelist的目录），生成opencv相关lib文件.configure两次后，点击生成（cmake中选择安装的以依赖库，如果缺少相应的依赖库，就算成功生成了的OpenCV功能也会有问题的，建议的NuGet下载）
本文主要讲述如何使用CMakeLists.txt，配置程序的版本号。程序在发布的时候需要对用的版本号，同时为了保证程序的兼容性，往往需要在程序中判断当前程序的版本。所以如果在编译过程中将版本号自动的传入程序中，就可以使程序更智能。
今天在研究PyTorch中Tensor的一些操作的时候，发现其底层Tensor的操作都是用C++写的，并使用pybind11进行C++和Python的桥接。所以，我就想着探索一下Python中如何调用C++代码？
Vtk，（visualization toolkit）是一个开源的免费软件系统，主要用于三维计算机图形学、图像处理和可视化。Vtk是在面向对象原理的基础上设计和实现的，它的内核是用C++构建的，包含有大约250,000行代码，2000多个类，还包含有几个转换界面，因此也可以自由的通过Java，Tcl/Tk和Python各种语言使用vtk。
cef3变化太大了。要注意版本。笔者所用版本为：cef_binary_3.3626.1895.g7001d56_windows32 版本。在将cef3集成到MFC时，遇到了一些问题。google了很多文档，都是针对几个月之前的版本，由于api变化太多，某些坑不能解决。现在做一下记录，防止下次再掉坑里。
本文对OpenBLAS进行配置和编译，并总结介绍了如何将OpenBLAS库集成到Caffe中。
常见的 Python 文件后缀有：py、pyc 、pyo、 pyi、pyw、 pyd、 pyx 等。
同时还需要提前安装好VisualStudio环境，我这里用的VS2015；以及cmake，用来生成VS工程，我这里用的最新的cmake3.13.3。
最近在整理python-based的benchmark代码，反过来在NV的GPU上又把Triton装了一遍，发现Triton的github repo已经给出了对应的llvm的commit id以及对应的编译细节，然后跟着走了一遍，也顺利的安装成功，只需要按照如下方式即可完成NV GPU上的安装，
本科学管理，被诸如《市场营销学》这类课程的作业搞得焦头烂额时，就会羡慕学计算机（或更广一点如「工科」）的同学：工程问题，有绝对的标准与尺度；不像这种经管的作业，没有明确的基准，辛苦写好的作业到底能得多少分，怕是只有老师的心情说的算。
python+opencv已经比较成熟了，但是比起go，python太缺乏秩序，所以打算后面用go玩opencv。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
