方方的杂货铺-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

方方的杂货铺

专栏成员

31

文章

47194

阅读量

12

订阅数

1. 基于 c++ executions的异步实现 - 从理论到实践

c++框架实践线程异步

故事的开篇是笔者参与开发的一款自研引擎的底层 C++ 框架, 恰逢其时, 包含 stackless coroutine 特性的 C++20 已经发布并得到了几大主流 C++ 编译器的支持, 所以我们框架的异步模块实现也很自然的基于 stackless coroutine 的特性实现了一版工作在单一线程上的协程调度器, 对于一些依赖多次串行的异步操作来完成的业务逻辑来说, 这种机制确实带来了很大的便利, 你可以以非常线性的方式来对这种类型的业务逻辑进行实现了. 但美好总是短暂的, 很快我们就碰到了大量多线程相关的异步逻辑使用场景, 如FrameGraph里的DAG实现等, 完全依托Lambda Post机制, 肯定也是可以写的, 但相关的复杂度并不低, 这种情况下, 团队成员就开始考虑能否借助协程, 来简化相关代码的复杂度了. 这种情况下, 我们开始考虑以单线程版本的协程调度器实现作为基础, 尝试结合比较新的 C++ 异步思路, 来重新思考应该如何实现一个支持多线程, 尽量利用 C++ 新特性, 同时业务层简单易用的异步框架了. 问题的一部分答案我们其实在 <<从无栈协程到C++异步框架>>系列文章中给出了部分答案, 最后我们通过结合 ASIO 的调度器与 stackless coroutine, 以及来自 taskflow 的思路解决DAG相关的描述问题, 很大程度上已经解决了上面的问题. 但更未来向的 executions 在框架中的位置和标准化之后如何更好的利用它来进一步支持上对异步的结构化表达, 以及它与前面的Lambda Post, 多线程协程的区别和它的适用场景, 都是一个未来需要比较好的去回答的一个问题, 这也是本文主要想去探索解决的问题. 从本文最初成文(大概是2022年5月, 发布于公司内部KM和purecpp)到这次重新整理整个系列(2023年9月), 整个尝试的过程只能说一波三折, 并不是非常顺利了, 当然, 随着对相关实现的深入理解和细节的深挖, 收益也是颇多的. 闲话不多说了, 我们直接切入主题, 以笔者项目中对异步的实践和相关的思考来展开这篇总览的内容.

2023-12-31

2200

7. 基于 c++ executions的异步实现 - libunifex的scheduler实现

c++scheduler 队列线程异步

在上一篇中我们相对深入的介绍了libunifex中的concepts的方方面面, 对execution的整体设计框架有了一个基础的认知, 本篇我们将继续介绍作为execution执行基石的scheduler的实现细节. 本篇的介绍集中在cpu thread类型的execution context上, 不涉及异构的execution context实现和调度.

2023-12-31

1620

2. 基于 c++ executions的异步实现 - libunifex的使用与实现概述

c++对象设计生命周期异步

在前文 1. 基于 c++ executions的异步实现 - 从理论到实践中我们也提到过, 对于lambda post的一些缺陷, 在execution中都能够比较好的得到解决. 由于c++ execution目前还是PR状态, 并未正式发布, 但sender/receiver机制应该是得到了越来越多人的认可了, 也确实将C++的异步提到了一个新的高度. 这里我们选用高度符合标准提案, 能够实际测试, 并且test众多的libunifex来展开本篇的内容, 从libunifex上, 我们也能感受到sender/receiver模型带来的整个C++异步的改变, 以及他为何能够弥补lambda post的一些缺陷.

2023-12-31

2470

3. exectuions 依赖的管道实现 - 在C++中实现LINQ

c++linq pipeline 对象设计

在正式分析libunifex之前, 我们需要了解一部分它依赖的基础机制, 方便我们更容易的理解它的实现. 本篇介绍的主要内容是关于c++ linq的, 可能很多读者对c++的linq实现会比较陌生, 但说到C#的linq, 大家可能马上就能对应上了. 没错, c++的linq就是在c++下实现类似C# linq的机制, 本身其实就是在定义一个特殊的DSL, 相关的机制已经被使用在c++20的ranges库, 以及不知道何时会正式推出的execution库中, 作为它们实现的基础之一. 本篇我们主要围绕已进入标准的ranges实现来展开关于c++ linq的探讨, 同时也将以ranges的一段代码为起点, 逐步展开本篇的相关内容.

2023-12-31

1830

优雅的实现多线程环境下的协程调度 - 再谈 ASIO 与 Coroutine

coroutine 多线程设计线程协程

[!info] 导语: 在先前的文章《从无栈协程到C++异步框架》中，我们探讨了如何将上层的协程调度器与底层的C++17协程实现以及C++20协程实现相结合，从而构建一个在单线程环境下易于使用的异步框架。通过相关示例，我们发现协程在表达线性类型业务方面具有显著优势。那么，在多线程环境下，当单个协程的执行不再受限于单一线程时，我们能否继续保持这种线性类型业务的友好表达，并在多线程环境中充分利用协程的优势呢？本篇文章将致力于解决这一核心问题。

2023-10-16

5860

Python & C++ - pybind11 实现解析

c++python 对象函数虚拟机

IEG 自研引擎 CE 最早支持的脚本是 Lua, 在性能方面, Lua是有一定优势的. 但除此之外的工程组织, 以及现在即将面临的 AI 时代的语料问题, Lua 都很难很好的解决. 在这种情况下, 支持工程组织和语料更丰富的 Python, 就成了优先级较高的任务了. 由于Python的虚拟机以及相关的C API较复杂, 我们选择的方式是将 pybind11 - 一个Python社区知名度比较高, 实现质量也比较高的 Python 导出库与我们引擎的 C++ 反射适配的整合方式, 这样可以在工作量较小的情况下, 支持好 Python 脚本, 同时也能比较好的利用上引擎的C++反射实现. 在做好整合工作前, 我们肯定需要先较深入的了解 pybind11 的相关实现机制, 这也是本篇主要讲述的内容.

2023-10-16

8550

从无栈协程到C++异步框架

c++对象框架协程异步

前面的文章中我们尝试从 C++17 和 C++20 的角度分别探讨过其中无栈协程的包装机制和使用, 但其中的设计由来, 原理, 剥析的并不多. 这也导致对相关特性不太熟悉的读者要理解相关内容存在比较大的成本. 本篇我们将更多的回归原理, 背后的设计, 尝试对整个C++的协程做深入浅出的剥析, 方便大家的理解. 再结合上层的封装, 最终给出一个C++异步框架实际业务使用的一种形态, 方便大家更好的在实际项目中应用无栈协程. PS: 本文的主要内容与IEG课程 <> 基本一致, 文字版细节更多, 更适合阅读.

2023-10-16

2120

javascript & c++ - v8pp 实现解析

c++javascript v8 对象函数

v8 和 node.js 的流行让 js/ts 相关的脚本开发也慢慢走入像游戏业务开发这些领域, 本文主要从 v8pp 的实现出发, 让读者熟悉极大提高 v8 易用性, 提供诸如像c++类导出到javascript等功能的 v8pp 的同时, 也对怎么在c++ 中嵌入式的使用 v8 虚拟机有个基础的了解. 依赖v8本身完备的实现和提供的基础对象, c++ & v8 的跨语言中间件的实现复杂度大幅度下降, 除了因为 js 本身使用 prototype 设计带来的一定程度的理解成本和机制转换成本外, 其他部分都会比像 python 等的跨语言中间件来得简单, 从代码量上来说, v8pp 的代码量也远少于笔者之前剖析过的 pybind11. 从某种层面来说, 基于 v8 的跨语言中间件, v8本身提供的机制解决了绝大部分问题, 剩下的一小部分问题, 是需要 v8pp 本身来解决的.

2023-10-16

4560

轻松掌握C++ AST的处理方法 - CppAst.Net使用介绍

c++ast 编译工具系统

现代的游戏引擎一般都会较重度的依赖代码生成技术, 而代码生成技术一般都是以原始代码为处理信息源, 再结合专用的配置来做进一步的处理. 发展到后来, 就渐渐变成原始代码和配置一体化的形式了. 比如大家熟知的UE使用的是在原始代码上利用宏来注入额外信息的方式, 然后再用自己专门实现的 UHT - Unreal Header Tool 来完成代码生成的目的. 早期的 UHT 使用 C++ 编写, 它采用的一个 2 Pass 解析相关头文件源码并提取相关信息进行生成的方式，新版的 UE5 使用处理字符串更友好的 C# 重写了整个 UHT, 整体的实现对比之前的版本也更完整, 对对各类 C++ Token 的处理也更完备了。笔者所参与的腾讯IEG自研的 3D 引擎同样也大量使用了代码生成技术，与UE相比，我们并没有选择自己从头开始开发的代码生成工具，而是综合历史经验和重新选型后，选择了直接在 C++ 抽象语法树（AST）层级来完成原始代码信息的提取，以此为基础进行代码生成。早期我们直接使用了 libclang 的 Python Wrapper , 来完成相关的工作. 相关的维护成本和执行效率都不尽如人意, 重新调研之后我们选择了底层同样使用 libclang, 但整体设计和实现更合理, 使用更友好的 http://CppAst.Net 来完成这部分工作. 当然, 整个过程也不是一帆风顺的, 在对 http://CppAst.Net 做了几个关键功能的 PR 之后, 我们已经可以基于 http://CppAst.Net 很好的完成我们需要的代码解析和额外信息注入的功能了, 本文将重点介绍 C# 库 - http://CppAst.Net 的方方面面, 希望帮助大家更好的完成 C++ 代码分析或者代码生成相关的工具.

2023-10-16

3590

asio 调度器实现 - timer 实现详解

heap timer 定时器系统线程

前面我们讲了基本的任务调度支持, 实际业务使用中, 还会有很多跟时间相关的任务, 所以一般的调度器也会包含定时器的支持, 我们先整体性的了解一下asio这部分的实现:

2023-05-23

5780

asio 调度器实现 - strand 实现详解

post queue task 对象推送

只有一个线程在执行scheduler::run() 的情况, 我们不需要担心任务执行的先后顺序,它们始终是严格按照post()的先后顺序来执行的. 那么如果我们更多的利用多核, 使用多个线程执行同一个

2023-05-23

8520

asio 调度器实现 - operation 调度详解

队列对象函数内存线程

作为一个 lambda post 类型的调度器实现, 首先要打理的, 肯定是的函数对象如何投递, 如何保存, 如何执行了. 我们先来回顾一下上一篇中的调度概览图:

2023-05-23

5350

asio调度器实现 - 总览篇

模型设计网络线程异步

ASIO是一个久经迭代的库, 所以版本比较多, 不同版本的差异也比较大, 在开始具体的讲述前, 我们先来看一下ASIO的版本情况, 也方便大家知道我们所选用的ASIO版本, 以及它与最新的版本的差异所在.

2023-04-28

5860

c++反射深入浅出 - 基于反射的Lua中间层实现

html lua c++编程算法

本篇中, 我们将以lura库为例(笔者之前项目使用的Lua的 bridge实现), 介绍如何以C++反射作为基础设施, 以更简洁的方式来实现一版lua的bridge. 本篇会围绕lura库的前世今生来逐步展开.

2022-11-28

8990

C++反射 - 反射信息的自动生成

c++编程算法打包 python

在前一篇 <<C++反射 - 基于反射的Lua中间层实现>> 中, 我们介绍了如何利用c++反射的基础设施来实现一个lua中间层. 其中也有一些注册代码的示例. 当项目比较简单的时候, 手动编写相关的反射注册代码不会占用太多的时间. 但当项目达到一定规模, 手动编写并维护这些注册代码费时费力, 相关接口改个名可能会涉及到多处关联注册代码的修改, 这肯定是我们所不能接受的. 所以大部分项目在使用反射, 或者类反射的脚本中间层生成的过程中, 都会开发一些自动生成工具来减少重复性的工作, 笔者所经历的项目也是如此. 得益于llvm的流行, 我们大部分相关工具都是以libclang解析源代码头文件生成AST作为基础的. 本文将结合笔者的项目经验, 介绍如何在C#中用一种逐层处理的方式完成前文中提到的反射注册信息的自动生成的.

2022-11-18

5K0

ClangSharp依赖的动态库编译

打包 linux bash bash 指令 windows

Clangen使用 ClangSharp解析头文件来完成一些中间代码的生成(如Rpc的注册代码, 桩代码, C++类导出到Lua的代码等). 而ClangSharp本身依赖了llvm, 以及自己的一个libClangSharp的库, windows和linux下需要编译一下llvm和这个库, 一般来说系统没变的情况下, 直接使用已经编译好的libclang.so/dll即可, 但有些时候遇到需要升级llvm到高版本的情况, 比如说我们之前碰到的情况 , llvm9在linux下运行速度异常(Windows下10S的流程, 在linux下处理同样的任务要快3分钟, 最后发现可能之前编译使用的是debug版本), 我们需要编译LLVM, 并且编译依赖llvm的libClangSharp, 官方文件比较简单, 而且配置项有一些问题, 可能导致不能正常编译, 所以这里记录下过程方便后续有相关需求的时候可以参照处理.

2022-06-01

1.5K0

c++反射深入浅出 - 4.基于反射的Lua中间层实现

lua 编程算法 r 语言 c++html

本篇中, 我们将以lura库为例(笔者之前项目使用的Lua的 bridge实现), 介绍如何以C++反射作为基础设施, 以更简洁的方式来实现一版lua的bridge. 本篇会围绕lura库的前世今生来逐步展开.

2022-04-01

1.1K0

C++反射深入浅出 - 3. function 实现分析

编程算法 lua c++

在上篇中我们对反射中的Property实现做了相关的介绍, 本篇将深入Function这部分进行介绍. 主要内容是如何利用模板完成对C++函数的类型擦除, 以及如何在运行时调用类型擦除后的函数. 有的时候我们需要平衡类型擦除与性能的冲突, 所以本文也会以lua function wrapper这种功能为例, 简单介绍这部分.

2022-04-01

1.6K0

c++反射深入浅出 - 2. property 实现分析

在上篇 ponder 反射实现分析总篇中我们对反射实现的整体做了相关的介绍, 本篇将深入Property的部分进行介绍.

2022-04-01

4230

C++反射深入浅出 - 1. ponder 反射实现分析总篇

给静态语言添加动态特性, 似乎是C++社区一件大家乐见其成的事情, 轮子也非常多, 我们不一一列举前辈们造的各种流派的轮子了, 主要还是结合我们框架用到的C++反射实现, 结合C++的新特性, 来系统的拆解目前框架中的反射实现. 另外代码最早脱胎于Ponder, 整体处理流程基本与原版一致, 所以相关的源码可以直接参考 ponder的原始代码 . 文章计划分分7篇: - [[1. c++反射深入浅出 - ponder 反射实现分析总篇]] - [[2. c++反射深入浅出 - property实现分析]] - [[3. c++反射深入浅出 - function实现分析]] - [[4. c++反射深入浅出 - 基于反射的Lua中间层实现]] - [[5. C++反射深入浅出 - 反射信息的自动生成]] - [[6. C++反射深入浅出 - 反射的其他应用]] - [[7. C++反射深入浅出 - c++20 concept 改造]]

2022-04-01

1K0

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态