用户指南

最佳实践

API 文档

有奖调研

GPU-Manager 说明

最近更新时间:2021-09-13 15:46:05

简介

组件介绍

GPU Manager 提供一个 All-in-One 的 GPU 管理器,基于 Kubernetes DevicePlugin 插件系统实现,该管理器提供了分配并共享 GPU、GPU 指标查询、容器运行前的 GPU 相关设备准备等功能,支持用户在 Kubernetes 集群中使用 GPU 设备。

组件功能

  • 拓扑分配:提供基于 GPU 拓扑分配功能,当用户分配超过1张 GPU 卡的应用,可以选择拓扑连接最快的方式分配 GPU 设备。
  • GPU 共享:允许用户提交小于1张卡资源的任务,并提供 QoS 保证。
  • 应用 GPU 指标的查询:用户可以访问主机端口(默认为 5678)的 /metric 路径,可以为 Prometheus 提供 GPU 指标的收集功能,访问 /usage 路径可以进行可读性的容器状况查询。

部署在集群内的 Kubernetes 对象

Kubernetes 对象名称 类型 建议预留资源 所属 Namespaces
gpu-manager-daemonset DaemonSet 每节点1核 CPU, 1Gi内存 kube-system
gpu-quota-admission Deployment 每节点1核 CPU, 1Gi内存 kube-system

使用场景

在 Kubernetes 集群中运行 GPU 应用时,可以解决 AI 训练等场景中申请独立卡造成资源浪费的情况,让计算资源得到充分利用。

限制条件

  • 该组件基于 Kubernetes DevicePlugin 实现,可直接在 Kubernetes 1.10 以上版本的集群使用。
  • 每张 GPU 卡一共有100个单位的资源,仅支持0 - 1的小数卡,以及1的倍数的整数卡设置。显存资源是以256MiB为最小的一个单位的分配显存。
  • 使用 GPU-Manager 要求集群内包含 GPU 机型节点。

使用方法

组件安装

  1. 登录 容器服务控制台,在左侧导航栏中选择集群
  2. 在“集群管理”页面单击目标集群 ID,进入集群详情页。
  3. 选择左侧菜单栏中的组件管理,进入 “组件列表” 页面。
  4. 在“组件列表”页面中选择新建,并在“新建组件”页面中勾选 GpuManager。
  5. 单击完成即可创建组件。

创建细粒度的 GPU 工作负载

当 GpuManager 组件成功安装后,您可通过以下两种方式创建细粒度的 GPU 工作负载。

方式一:通过 TKE 控制台创建

  1. 登录容器服务控制台,选择左侧导航栏中的 集群
  2. 选择需要创建 GPU 应用的集群,进入工作负载管理页,并单击新建
  3. 在“新建Workload”页面根据实际需求进行配置,可在“GPU资源”配置细粒度的 GPU 工作负载。如下图所示:

方式二:通过 yaml 创建

说明:

在提交时通过 yaml 为容器设置 GPU 的使用资源,核资源需要在 resource 上填写 tencent.com/vcuda-core,显存资源需要在 resource 上填写 tencent.com/vcuda-memory

下面给出 yaml 示例:

  • 使用1张卡的 P4 设备:
    apiVersion: v1
    kind: Pod
    ...
    spec:
    containers:
     - name: gpu
    resources:
    tencent.com/vcuda-core: 100
  • 使用0.3张卡,5GiB 显存的应用:
    apiVersion: v1
    kind: Pod
    ...
    spec:
    containers:
     - name: gpu
    resources:
    tencent.com/vcuda-core: 30
    tencent.com/vcuda-memory: 20
目录