Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等
原创Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等
原创
DAOS常用链接
DAOS在后傲腾时代的发展策略: https://www.bilibili.com/video/BV1Qw411377s
DAOS项目计划: https://daosio.atlassian.net/wiki/spaces/DC/pages/4836661105/Roadmap
DAOS基金会: https://foundation.daos.io
DAOS设计文档: https://daosio.atlassian.net/wiki/spaces/DC/pages/4806836263/Resources
DAOS内部设计(模块/原理): https://github.com/daos-stack/daos/tree/master/src
DAOS术语: https://docs.daos.io/v2.5/overview/terminology/
DAOS开发文档: https://docs.daos.io/v2.5/dev/development/
DAOS开发文档_容器增删改查: https://docs.daos.io/v2.5/user/container/
用户文档: https://docs.daos.io/v2.5/user/workflow/
公共组件: https://github.com/daos-stack/daos/tree/master/src/common
Raft(c_raft实现): https://github.com/willemt/raft, 文档: raft.h,
版本对象存储(vos翻译): https://blog.csdn.net/Hahafly1234/article/details/119298746
高性能RDMA网络(低时延): https://mp.weixin.qq.com/s/qPY4oNuhwaByFpK68g3yEA
CART(单个/批量RPC传输)+RDMA = 大数据和百万兆级 HPC 开源 RPC 传输层: https://mp.weixin.qq.com/s/AAOIstxRV94b_RS7WrcBBw
晓兵技术杂谈(系列: DAOS/RDMA/UCX/Mercury/Libfabric/分布式存储等)
视频: https://cloud.tencent.com/developer/user/5060293/video
博客: https://cloud.tencent.com/developer/column/99669
主题 | 时间 | 链接 | 备注 |
|---|---|---|---|
晓兵技术杂谈1-intel_daos项目简介高性能分布式存储RDMA_SPDK_NVME_HPC对象存储源码分析_c语言 | 2023-09-02 00:22:15 | 分布式异步对象存储 (DAOS) 是一种开源对象存储，专为大规模分布式非易失性内存 (NVM) 而设计。DAOS 利用下一代 NVM 技术，如 Intel © Optane ™ Persistent Memory 和 NVM express (NVMe)，同时在商用硬件之上提供键值存储接口，提供事务性非阻塞 I/O 等功能，具有自我修复、端到端数据完整性、细粒度数据控制和弹性存储的高级数据保护，以优化性能和成本, 参考: https://github.com/ssbandjl/daos | |
晓兵技术杂谈2-daos用户态文件系统io路径dfuse_io全路径io栈分布式存储c语言 | 2023-09-03 17:21:31 | 分布式异步对象存储（DAOS，Distributed Asynchronous Object Storage）是一个开源的可扩展存储系统，从根本上设计用于在用户空间支持SCM和NVMe存储。DAOS在IO500基准测试中展现出领先的性能 DAOS从头开始设计，以利用现代化存储硬件（SCM、NVMe和CXL SSD）。其先进的低级键值API使其具有比传统基于POSIX的并行文件系统更高的IOPS和可扩展性，DAOS的IO500结果 2 也证实了这一点。需要注意的是，虽然DAOS提供了POSIX抽象层，但它也可以直接与自定义I/O中间件（如MPI-IO、HDF和几个AI/分析框架）集成，以提供比POSIX更多的功能。本研究仅在DAOS POSIX容器之上使用DAOS DFS API 参考: https://logread.cn/post/daos/daos_dfuse_fs_io_path/ https://blog.csdn.net/ssbandjl/article/details/132651510 https://cloud.tencent.com/developer/article/2322705 | |
晓兵技术杂谈3-分布式存储系统-daos的rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言 | 2023-09-08 23:16:22 | 晓兵技术杂谈3-分布式存储系统-daos与rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言 CaRT（集体和 RPC 传输）与Mercury CaRT 是用于大数据和 百亿级 HPC 的开源 RPC 传输层。 它支持传统的 P2P RPC 和集体 RPC，后者通过可扩展的基于树的消息传播在一组目标服务器上调用 RPC。Cart将Mercury封装，对应用程序提供初始化上下文，创建请求，发送请求，请求回调等数据通道接口，典型的上层应用如心跳swim，rank管理, 持久内存和Nvme读写IO, 底层通过libfabric或ucx封装RDMA的发送SEND/接收RECV和READ读/WRITE写接口 参考: https://blog.csdn.net/ssbandjl/article/details/130448137 htthttps://blog.csdn.net/ssbandjl/article/details/130655867 https://github.com/ssbandjl/libfabric/blob/main/ofi_guide.md https://github.com/ssbandjl/mercury.git https://github.com/ssbandjl/daos/tree/master/src/cart | |
晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程 | 2023-09-16 22:01:48 | 晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程 任务调度引擎: https://blog.csdn.net/ssbandjl/article/details/132178633 事件和事件队列,网络上下文即EV/EQ/CartContext https://blog.csdn.net/ssbandjl/article/details/132385609 | |
晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口libfabric教程gpu数据dma_socket大块数据bulk传输原理rdma单边读写c语言编程.mp4 | 2023-09-24 23:41:08 | 晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口libfabric教程gpu数据dma_socket大块数据bulk传输原理rdma单边读写c语言编程ai_intel_panda熊猫博士 https://logread.cn/post/ofa/libfabric_tutorial_rdma_gpu_intel_dma_video_panda/ https://blog.csdn.net/ssbandjl/article/details/133248887 | |
晓兵技术杂谈6-分布式存储系统-daos底层通信rdma接口分层调用详解libfabric_mercury高性能网络通信c语言编程云计算存储.mp4 | 2023-10-13 21:24:52 | 晓兵技术杂谈6分布式存储系统DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解c语言代码走读通信_rpc, DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解 , https://cloud.tencent.com/developer/article/2335208 htthttps://logread.cn/post/daos/daos_mercury_libfabric_rxm_rdma_verbs_rpc_bulk_api/ 常用学习链接(随时更新): https://logread.cn/post/study/summary/ | |
晓兵技术杂谈7_DAOS分布式存储引擎是如何收到客户端RPC请求并处理的_c语言_rpc_cart_回调_mercury回调_rdma回调 | 2023-10-21 23:51:23 | 晓兵技术杂谈7_DAOS分布式存储引擎是如何收到客户端RPC请求并处理的_c语言_rpc_cart_回调_mercury回调_rdma回调 Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等 https://cloud.tencent.com/developer/article/2344030 DAOS引擎是如何收到客户端RPC并处理的? https://cloud.tencent.com/developer/article/2348703 | |
晓兵技术杂谈8_UCX统一通信框架_UCT传输层简介_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等 | 2023-11-04 22:41:48 | 晓兵技术杂谈8_UCX统一通信框架_UCT传输层简介_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等_博客链接: https://cloud.tencent.com/developer/article/2349389 UCT设计: https://github.com/openucx/ucx/wiki/UCT-Design UCT文档: https://openucx.readthedocs.io/en/master/ucx_features.html | |
晓兵技术杂谈9_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等 | 2023-11-18 21:16:47 | UCX-UCT统一通信传输层2-深入: https://cloud.tencent.com/developer/article/2351953 UCX-UCT统一通信传输层1-简介: https://cloud.tencent.com/developer/article/2349389 UCX-UCT统一通信传输层3-服务端和客户端调用栈详解(及相关)_源码解读: https://cloud.tencent.com/developer/article/2353126 | |
晓兵技术杂谈10_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等 | 2023-11-19 21:08:10 | 晓兵技术杂谈10_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等 参考: UCX-UCT统一通信传输层2-深入: https://cloud.tencent.com/developer/article/2351953 UCX-UCT统一通信传输层1-简介: https://cloud.tencent.com/developer/article/2349389 UCX-UCT统一通信传输层3-服务端和客户端调用栈详解(及相关)_源码解读: https://cloud.tencent.com/developer/article/2353126 |
晓兵
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。