在生成式AI（GenAI）和大模型时代，不仅需要关注单个GPU卡的算力，更要关注GPU集群的总有效算力。单个GPU卡的有效算力可以通过该卡的峰值算力来测算，例如...

在Kubernetes的Master节点上，也增加一个组件，叫做gpu-admission，其作用是接管Kubernetes Scheduler的predica...

在 Python 下 onnxruntime-gpu 加载 onnx 模型后，创建 seddion 进行数据推断，在第一次执行时会比之后执行耗时更久，需要资源更...

在数字设计的Implementation过程中，从RTL到GDSII的每一步都是高度计算密集型的。在SoC层面，为了最小化互连的延迟，我们需要评估数百个par...

在运行MindSpore程序时，设置device_target为GPU，结果运行时报错：

随着大数据和人工智能时代的到来，向量检索的应用场景越来越广泛。在信息检索领域，向量检索可以用于检索系统、推荐系统、问答系统等，通过计算文档和查询向量之间的相似度...

下面就让我们从规格参数、工艺节点、封装设计等方面来深入分析一下新一代Blackwell GPU的系统、定价、利润，以及Jensen's Benevolence（...

谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

GTC 2024大会上，老黄祭出世界最强GPU——Blackwell B200 ，整整封装了超2080亿个晶体管。

OpenAI 推出的 Sora 模型能够在各种场景下生成极其逼真的视频，吸引了全世界的目光。

在上一期，我们讲了一个令狐冲通过使用NVidia GRID vGPU方案，把虚拟化的GPU通给多个虚拟机的方案。但是，这个方案仍然没有解决一个关键的问题——不同...

在上期，我们讨论了AMD主导的基于SRIOV的GPU虚拟化方案。我们也发现了，由于GPU本质上不是CPU的一个外设，而是一个高度并行，具备成千上万个核的计算机，...

1.视觉模型服务部署面临的问题与挑战 2.GPU服务性能优化实践案例 3.通用高效的推理服务部署架构

在本教程中，我们将为您提供在Windows、Mac和Linux系统上安装和配置GPU版本的PyTorch（CUDA 12.1）的详细步骤。我们将使用清华大学开源...

本教程将为您提供在Windows、Mac和Linux系统上安装和配置GPU版本的PyTorch（CUDA 12.1）的详细步骤。我们将使用清华大学开源软件镜像站...

在深度学习项目中，CUDA内存溢出（OutOfMemoryError）是一个常见的难题，尤其在使用PyTorch框架进行大规模数据处理时。本文详细讨论了CUDA...

训练大型语言模型(llm)，即使是那些“只有”70亿个参数的模型，也是一项计算密集型的任务。这种水平的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这...

TKE 提供 elastic-gpu-exporter 组件用于获取 GPU 相关监控指标，需要先安装该组件采集GPU 指标数据，参考基础监控指标采集：容器服务...

“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参...

腾讯云GPU云服务器有包年包月和按量计费两种计费模式，同时也支持 时长折扣，时长折扣的比率和 CVM 云服务器可能不同，GPU 实例包括网络、存储（系统盘、数据...