腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
daos
DPU | 分布式存储 | DAOS | CEPH | RDMA | SPDK | NvmeOF | 协程 | 高性能 | 内核等, AI吐槽留言板: https://chattoyou.cn
专栏作者
举报
37
文章
27051
阅读量
14
订阅数
订阅专栏
申请加入专栏
全部文章（37）
存储（29）
云计算（22）
高性能（20）
网络（17）
rpc（10）
hpc（9）
linux（8）
分布式（5）
高性能计算（4）
分布式存储（4）
gpu（3）
linux-kernel（3）
网络通信（3）
人工智能（2）
kernel（2）
aigc（2）
network（2）
storage（2）
通信（2）
云服务器（1）
c 语言（1）
http（1）
网络安全（1）
任务调度（1）
虚拟化（1）
intel（1）
linux编程（1）
nvidia（1）
存储技术（1）
高可用（1）
内存管理（1）
内核（1）
事件（1）
网络编程（1）
网络协议（1）
文件系统（1）
协议（1）
芯片（1）
性能优化（1）
学习笔记（1）
异步编程（1）
硬件（1）
云存储（1）
数据块存储（1）
搜索文章
搜索
搜索
关闭
Nvidia DPU BlueField 软件概述_AI_卸载_降本增效_DPU时代_内核表示模型
云计算
aigc
gpu
高性能
人工智能
随着摩尔定律的减弱，加速计算和人工智能是较经济实惠的方式实现数据中心能源效率所需的工具。 让我们一起跟随和了解 NVIDIA Grace CPU、NVIDIA L4 GPU 和 NVIDIA BlueField DPU 如何推动数据中心迈向更高效的未来。
ssbandjl
2023-12-30
407
0
置顶
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制_动态连接等详解-一文入门RDMA和RoCE有损无损
linux
存储
network
高性能
网络
随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术
ssbandjl
2023-07-23
4.7K
3
置顶
优化 RDMA 代码的建议和技巧-rdma性能优化技巧-避坑指南-RDMA资源
高性能计算
存储
hpc
高性能
网络
DMA 代表直接内存访问。这意味着应用程序可以在 CPU 干预的情况下直接访问（读/写）主机内存。如果您在主机之间执行此操作，它将成为远程直接内存访问 (RDMA)
ssbandjl
2023-12-19
690
2
置顶
SRIOV 单根虚拟化 技术汇总
硬件
云计算
虚拟化
高性能
芯片
在虚拟化中，单根输入/输出虚拟化(SR-IOV) 是一种出于可管理性和性能原因允许隔离PCI Express资源的规范
ssbandjl
2024-01-05
111
0
Nvidia ASAP(加速交换和数据包处理)技术简介
aigc
hpc
network
高性能
网络通信
ASAP: NVIDIA accelerated switching and packet processing (ASAP2) 加速网络交换和数据包处理技术
ssbandjl
2024-01-02
315
0
Linux内核编译及利用SCSI协议保留字段在initiator和tgt间通信
存储
kernel
linux-kernel
c 语言
linux
需求: 如何利用ISCSI协议保留字段, 在Initiator和Tgt端传递, 完成一些控制开关或其他管理功能 ?
ssbandjl
2023-12-11
318
0
Linux内核(5.10)-IO全路径-文件系统到磁盘-或远端iscsi/nvmeof协议盘
linux
kernel
linux-kernel
linux编程
storage
DAX: 磁盘(disk)的访问模式有三种 BUFFERED、DIRECT、DAX。前面提到的由于page cache存在可以避免耗时的磁盘通信就是BUFFERED访问模式的集中体现；但是如果我要求用户的write请求要实时存储到磁盘里，不能只在内存中更新，那么此时我便需要DIRECT模式；大家可能听说过flash分为两种nand flash和nor flash，nor flash可以像ram一样直接通过地址线和数据线访问，不需要整块整块的刷，对于这种场景我们采用DAX模式。所以file_operations的read_iter和write_iter回调函数首先就需要根据不同的标志判断采用哪种访问模式, kernel在2020年12月的patch中提出了folio的概念，我们可以把folio简单理解为一段连续内存，一个或多个page的集合
ssbandjl
2023-12-07
622
0
全闪分布式存储之PureFlash-极短IO路径-极致性能-极简RDMA和SPDK引擎落盘-支持超融合-IO路径-源码流程及项目简介
高可用
高性能
数据块存储
存储
分布式存储
极简IO路径, 原生RDMA(verbs)和SPDK引擎落盘加持, 能充分发挥硬件性能, 支持快照, 多副本等, 高可用的高性能分布式存储, 让我们一起见证全闪时代吧!
ssbandjl
2023-11-25
1.1K
0
Nvidia-NCCL-GPU集合通信接口简介_源码笔记
gpu
nvidia
通信
网络通信
人工智能
nccl: NVIDIA Collective Communications Library (NCCL) 集合通信接口
ssbandjl
2023-11-24
862
0
DAOS-VOS版本化对象存储-NVME调度-轮询-水位线等流程分析
存储
分布式
hpc
存储技术
高性能
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
ssbandjl
2023-11-12
408
0
DAOS_分布式存储_大块数据传输_RDMA_BULK_单边读或写_大IO数据通道_RPC大小IO阈值19K_源码分析
云计算
高性能
网络
存储
rpc
2. 发送端把一段不连续的内存封装为sgl, 调用bulk_create分段注册好(crt_bulk_create(ctx, &sgl, CRT_BULK_RW, bulk))
ssbandjl
2023-11-08
255
0
常用学习网站汇总_分布式存储_高性能网络_Linux内核_国际组织_大会等(不定时更新)
存储
云计算
高性能
网络
学习笔记
https://docs.nvidia.com/doca/sdk/erasure-coding-programming-guide/index.html
ssbandjl
2023-11-05
482
0
分布式存储_高性能RDMA网络_架构设计_性能调优参考_网卡排查命令_笔记
高性能
网络
存储
rpc
云计算
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
ssbandjl
2023-11-03
1.9K
0
DAOS_分布式存储_mercury_libfabric_rdma_rpc高性能网络_大块数据_bulk传输_中断_轮询自动切换_等笔记
存储
rpc
云计算
高性能
网络
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
ssbandjl
2023-11-03
284
0
DAOS分布式存储_libfabric_高性能RPC_rdma网络_笔记
存储
rpc
云计算
高性能
网络
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
ssbandjl
2023-11-03
359
0
DAOS高性能设计之网络上下文内存池(复用HG内存控制器)
内存管理
网络
存储
云计算
高性能
1. 在创建网络上下文(crt_context_create)的时候, 初始化内存池(crt_hg_pool_init)
ssbandjl
2023-11-01
230
0
UCX-UCT统一通信传输层3-服务端和客户端调用栈详解(及相关)_源码解读
rpc
云计算
高性能
网络
存储
https://github.com/ssbandjl/ucx/blob/master/category/uct_readme
ssbandjl
2023-10-30
827
0
UCX-UCT统一通信传输层2-深入-建连_数据收发主流程
云计算
hpc
网络
存储
rpc
LAG (Link Aggregation Group): 链路汇聚(bonding), 网络绑定可以将两个或多个网络接口组合成一个接口。它可以提高网络吞吐量和带宽，并在其中一个接口发生故障时提供冗余。NVIDIA ® BlueField ® DPU 可以选择以对主机透明的方式在 Arm 端配置网络绑定。在这种配置下，主机只能看到一个 PF, 参考: https://docs.nvidia.com/networking/display/bluefielddpuosv385/link+aggregation
ssbandjl
2023-10-26
775
0
UCX-UCT统一通信传输层1-简介
网络
存储
rpc
云计算
高性能
UCT(Unified Communication Transport)是一个传输层，它抽象了各种硬件架构之间的差异，并提供了支持通信协议实现的低级 API。该层的主要目标是以最小的软件开销提供对硬件网络资源的直接有效的访问。为此，UCT 依赖于低级驱动程序，例如 uGNI、Verbs、共享内存、ROCM、CUDA。此外，该层还提供通信上下文管理（基于线程和应用程序级别, 如: ucs_async_context_create, uct_worker_create）以及设备特定存储器（包括加速器中的存储器）的分配和管理的构造。在通信 API 方面，UCT 定义了立即（短消息,如: uct_ep_am_short）、缓冲区复制发送（bcopy,如: uct_ep_am_bcopy）和零拷贝（zcopy, 如: uct_ep_am_zcopy）通信操作的接口。短操作针对可以就地发布和完成的小消息进行了优化。bcopy 操作针对通常通过所谓的弹跳缓冲区发送的中等大小的消息进行了优化。最后，zcopy 操作公开零复制内存到内存通信语义。
ssbandjl
2023-10-22
636
0
DAOS引擎是如何收到客户端RPC并处理的?自动生成RPC请求参数及结构体
云计算
高性能
网络
存储
rpc
也就是, 如何将协程XS, ULT, Cart(网络), RPC, HG, Libfabric, RDMA, 完成队列以及各种回调结合起来, 形成精密运转的"机器", 来支持DAOS引擎接收客户端RPC功能
ssbandjl
2023-10-21
566
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档