这样 Pod 中有环境变量， NVIDIA Container Toolkit 就会为其分配 GPU，通过 HAMi 自定义逻辑中替换 libvgpu.so 和...

参考 https://cloud.tencent.com/document/product/560/118463

多模态大模型在智能客服、自动驾驶、AIGC 等领域的应用需求不断增长，但其训练工程面临计算、存储、数据处理、分布式通信等多重挑战。特别是在千卡级 GPU 训练集...

GPU 的利用率取决于提交到 GPU 的计算任务，当遇到数据并行处理时，CUDA 会将程序编译成 GPU 能处理的程序并交给 GPU 处理。这种程序在 CUDA...

新建TXT，写入以下内容，改扩展名为hardware-info.bat，双击即可：

如何管理MIG，参考了知乎(https://zhuanlan.zhihu.com/p/558046_64_4)，其中如果关注资源利用率，可以看看 vgpu 和 ...

【新智元导读】清华与蚂蚁联合开源AReaL-boba²，实现全异步强化学习训练系统，有效解耦模型生成与训练流程，GPU利用率大幅提升。14B模型在多个代码基准测...

在 Pod 中执行 nvidia-smi 命令查看设备信息时，Memory 部分只会展示申请的值，而非设备真实内存，这部分则是通过拦截 NVML API 实现的...

线稿作画的优势我在前文中说过，我就不做累述了StableDiffusion线稿获取方法——AI取线稿可以根据这篇文章来搞定，当我们获取到了线稿之后如何作画呢，那...

很多想要开始学习NVIDIA Isaac智能机器人整合工具的新手，一开始比较困惑的，就是就是这套软件有什么最基本以及较合适的系统配置？毕竟这些系统都不是便宜的东...

在向量数据库领域，性能与稳定性一直是用户最为关心的两大核心指标。近日，开源向量搜索引擎qdrant发布了全新版本v1.14.1，这次更新带来了诸多底层架构和算法...

1、官方提供的cuda_tool里的simpleP2P、p2pBandwidthLatencyTest也都可以检测是否支持P2P。

GPU统计数据以滚动方式显示，每个采样间隔一行。可以根据终端窗口的宽度调整要监控的指标。最多只能监控4个设备。如果没有指定设备，则使用自然枚举（...

在使用 os.environ['CUDA_VISIBLE_DEVICES'] 动态设置可见的 GPU 时，通常只能在程序开始运行之前进行设置，并...

按照网上的说法，计时使用了torch.cuda.Event(enable_timing=True)和torch.cuda.synchronize()，但跑出来...

架构的升级，其中一点是对Tensor core的升级。利用 Tensor Core 可以加速 FP16 下的矩阵乘法。在pytorch中可以通过...

近年来，AI大模型训练对算力的需求呈指数级增长。以GPT、LLaMA为代表的千亿参数级模型，依赖分布式GPU集群进行并行计算，而集群中GPU服务器间的数据通信效...

2025年5月13日，备受期待的 Ollama v0.7.0 版本终于正式发布！作为 AI 模型运行与管理领域的重要工具，Ollama 持续以卓越的性能和创新功...