首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#gpu

教程|使用免费GPU 资源搭建专属知识库 ChatGLM2-6B + LangChain

技术人生黄勇

“ 搭建私人定制化AI知识库!详解如何使用云计算资源,部署ChatGLM和LangChain模型,打造专属智能问答工具。”

5310

免费!深夜福利|英伟达推出NGC目录 - GPU加速的AI模型和SDK:Llama 2和SDXL

技术人生黄勇

最近英伟达推出了名为 NVIDIA NGC Catalog 的服务,为开发者提供了AI模型及其对应的调用SDK。

7510

又双叒叕有公司想打破Nvidia垄断?这回让CUDA代码直接编译运行于AMD GPU

GPUS Lady

苏州吉浦迅科技有限公司 · 联合创始人 (已认证)

AMD一直在努力弥合由Nvidia的CUDA主导地位所造成的差距,特别是在针对PyTorch等AI项目方面。同时,众多工具也纷纷加入这一行列,共同挑战Nvidi...

8610

KubeSphere 最佳实战:探索 K8s GPU 资源的管理,在 KubeSphere 上部署 AI 大模型 Ollama

运维有术

今天分享的内容是 KubeSphere 最佳实战「2024」 系列文档中的 KubeSphere 最佳实战:探索 Kubernetes GPU 资源的管理,在 ...

9310

手把手教程 | GPU云上极速部署 SD WebUI

CV君

Stable-diffusion-webui 是一个支持 Stable Diffusion 的交互界面应用,支持以下多种功能:文生图、图生图、图像修复/扩展、彩...

16310

GPU机密计算——以NVIDIA H100为例

绿盟科技研究通讯

机密计算通过在基于硬件的经验证的受信任执行环境中执行计算来保护正在使用的数据。这些安全且隔离的环境可以防止未经授权访问或修改使用中的应用程序和数据,从而提高管理...

14310

AI Infra 现状:一边追求 10 万卡 GPU 集群,一边用网络榨取算力

深度学习与Python

云行业进入了生成式 AI 时代,除模型算法外,头部企业纷纷将大量精力投入到解决算力和互联问题上。然而,如果没有网络支持,计算的篇章就无法开启。

14510

一起来认识 GPU-Cagra 索引!

Zilliz RDS

向量搜索是一个非常典型计算密集型的场景。作为世界上最快的向量数据库,Milvus的向量检索引擎Knowhere占用了超过整个系统80%的计算资源。而当我们谈论到...

8710

WebGPU和WebAssembly能否克服Docker的AI GPU问题?

云云众生s

GPU 的使用被证明并非完全是 Docker 和 WebAssembly 的障碍,而是一个速度障碍。

11810

为什么深度学习模型在GPU上运行更快?

数据科学工厂

当前,提到深度学习,我们很自然地会想到利用GPU来提升运算效率。GPU最初是为了加速图像渲染和2D、3D图形处理而设计的。但它们强大的并行处理能力,使得它们在深...

5510

docker中如何使用GPU

Sync

1. 系统已经安装好GPU驱动,CUDA,这里使用腾讯云自动安装驱动来安装GPU驱动和CUDA

24810

【踩坑】解决运行一段时间GPU计算后忽然变得很慢

小锋学长生活大爆炸

3、看图就知道,密集的GPU运算,导致GPU温度达到限制了。高温限制是会影响性能的。

11910

【教程】设置GPU与CPU的核绑(亲和力Affinity)

小锋学长生活大爆炸

简单来说,核绑,或者叫亲和力,就是将某个GPU与指定CPU核心进行绑定,从而尽可能提高效率。

12610

【技巧】如何检查多个GPU之间是否支持P2P通信

小锋学长生活大爆炸

需要用到cuda_samples:GitHub - NVIDIA/cuda-samples

19810

【系统架构设计师】计算机组成与体系结构 ② ( 计算机组成结构 - 冯诺依曼结构、哈佛结构 | 嵌入式芯片概念 - DSP、SoC、MPU、MCU | 体系结构分类之外的芯片 - FGPA、GPU )

韩曙亮

哈佛结构 : 程序指令 和 数据 分开存储在 两个独立的 存储空间中 , 每个存储器都 独立编址 、独立访问 , 这是一种 并行体系结构 ;

16110

Torch 中显存回收节省显存的方法

kwai

腾讯 · 员工 (已认证)

在进行模型推理时,需要考虑如何有效地利用和管理GPU显存。以下总结了常用的节省显存的方法。

16910

一群顶尖搜索人才如何 2 个月出货,还把 GPU 利用率干到 60%!揭秘百川智能研发大模型这一年

深度学习与Python

王小川在去年 4 月份宣布成立“百川智能”的两个月后,就迅速对外推出了 70 亿参数量的中英文预训练大模型 Baichuan 7B。一年多后的今天,百川智能已经...

9210

GPU 集群规模从 4K 飙升至 24K,Meta 如何引领大规模语言模型训练突破

深度学习与Python

在我们继续将 AI 研究和开发的重点放在解决一系列日益复杂的问题上时,我们经历的最重大和最具挑战性的转变之一是训练大型语言模型(LLM)所需的巨大计算规模。

7810

GPU数据并行结构

Zero Two

处理器在处理数据的过程中,有时会需要访问其他数据,访问这些数据需要花费一定的时间,此时处理器会处于停滞状态等待数据的返回。而等待的这段时间称之为延迟。

9320

实战 | 本地GPU训练YOLOv8带方向的目标检测

Color Space

目标检测是指在图像或视频帧内识别和定位物体的任务。定向目标检测具体涉及检测具有定义方向或旋转的物体,例如检测具有不同角度的车辆或检测自然场景中具有不同方...

28710
领券