资源组管理

最近更新时间:2020-03-31 17:22:19

在 TI-EMS 中,集群资源会被分为不同的资源组进行隔离,在启动模型服务的时候,用户可以选择将集群资源部署在默认的公共资源组或者部署在用户独享的专用资源组中。部署在不同资源组的模型服务计费方式详见 计费概述

资源组类型 说明
公共资源组 公共资源组提供公共的大规模计算集群,根据用户服务配置按需分配使用。按资源规格、使用时长及实例数计费。
专用资源组 提供独享的计算资源,可用于模型部署。专用资源组不与其他用户共享,更加高效。购买资源节点后即开始计费,目前支持包年包月和按量计费两种计费模式。使用专属资源组部署上线服务,不再另行收费。

公共资源组

若用户选择在公共资源组部署服务,可自由选择占用的资源:CPU 配置的部署单位为 2Gquota 和 4Gquota,GPU 配置部署的单位为 P4quota。
部署单位说明:

  • 2Gquota 为1核 CPU,2G 内存
  • 4Gquota 为1核 CPU,4G 内存
  • P4quota 为1核 CPU,5G 内存,0.25P4卡

选定想要部署的资源类型以后,可指定 Quota 数量,1个实例副本的 2Gquota 和 4Gquota 的数量设置范围为1 - 10,1个实例副本的 P4quota 的数量设置范围为1 - 4(即单副本最大 GPU 配置为1P4卡)。

专用资源组

TI-EMS 的用户可以创建专属于自己的资源组,托管给 TI-EMS,用户可将模型服务部署在专属资源组上,不与其他用户共用资源。

专用资源组优势

  • 对于业务稳定,需要长期使用的服务来说,使用预付费专用资源组可以为您节省总消耗成本。
  • 用户可以在专用资源组中使用自定义运行环境,可灵活部署更多种类型的模型。
  • 专用资源组支持和用户自己的 VPC 打通,服务调用更加高效。

专用资源组使用方式

新建资源组

进入【资源组管理】页面,单击【新建资源组】,输入资源组名称,选择资源组所在地域,单击【确定】,完成资源组创建。

资源组增加节点

资源组内手动增加节点入口有2处:

  1. 在资源组列表,选择需要扩展节点的资源组,单击【增加节点】,进入节点购买页。
  2. 单击【资源组名称】,进入资源组节点详情页,单击【增加节点】,进入节点购买页。

    资源组购买方式请详见 购买方式
注意:

可能会因为当前地域或可用区资源不足等原因,导致节点部署失败,退款订单会自动创建,已支付的钱款会原路返回。

节点购买成功后,在 TI-EMS 相关资源组节点详情页就可以看到当前资源组下所有节点信息,在部署模型时也可以选择该专用资源组进行部署。

资源组节点详情

在资源组列表页,用户可以修改资源组名称,单击资源组名称,可进入查看资源组下各个节点的状态和资源使用情况。

资源组节点状态分为部署中、部署失败、正常、已过期四种类型。部署成功的节点状态显示为正常,可在此资源组正常启动模型服务(剩余资源充足的条件下),状态为部署中、部署失败或者已过期的节点不可部署模型服务,为了保证您的服务运行正常,请时刻关注您的包年包月节点到期状况,关于节点的过期说明请查看 欠费说明

用户可对资源组进行一键续费和增加节点的操作,对包年包月资源组节点可进行节点续费、设置/取消自动续费的操作,对按量计费资源组节点可进行销毁操作。

资源组自动伸缩

对于访问量快速变化的业务,您可以选择创建伸缩组来满足资源的自动扩展需求。

创建伸缩组

  1. 在资源组列表页点击资源组名称,进入资源组详情页-伸缩组页,单击【新建伸缩组】,进入伸缩组创建页面。
  2. 输入以下信息:
    • 伸缩组名称:输入1-20字符数量的伸缩组名称。
    • 伸缩组的启动配置:选择伸缩组想要绑定的节点类型,目前伸缩组支持所有 TI-EMS 专用资源组按量计费的节点,节点规格和定价信息请查看 定价说明
    • 起始节点数:定义了伸缩组启用初始的节点数量。
    • 最大伸缩数:定义了伸缩组内节点的最小数量;若当前节点数量小于最小伸缩数,TI-EMS 伸缩组将自动添加节点,使其等于最小伸缩数。
    • 最小伸缩数:定义了伸缩组内节点的最大数量;若当前节点数量大于最大伸缩睡,TI-EMS 伸缩组将自动减少节点,使其等于最大伸缩数。
  3. 单击【确定】,完成创建。

伸缩组操作

  1. 启用/停用伸缩组
    当伸缩组创建完成以后,需要启用伸缩组。单击【伸缩组列表】>【操作】>【启用】,伸缩组将按照平台伸缩规则进行节点扩展和销毁。
  2. 更新伸缩组
    当资源组配置的节点数量无法满足业务需求时,您可以单击【伸缩组列表】>【操作】>【更多】>【更新】,进行资源组伸缩数范围的更新,更新完成以后伸缩组将按照新的节点数量范围进行扩展与销毁。
  3. 删除伸缩组
    单击【伸缩组列表】>【操作】>【更多】>【删除】,即可删除伸缩组,删除伸缩组的前提是伸缩组内所有节点均已销毁。
  4. 查看资源组节点列表
    单击伸缩组名称,进入伸缩组详情 > 节点列表,当访问量增加,伸缩组会自动扩展节点,伸缩组内扩展的节点可在此页面进行查看。伸缩组内扩展的节点可以手动销毁。
  5. 查看资源组伸缩记录
    单击伸缩组名称,进入伸缩组详情 > 伸缩记录,您可查看伸缩组内节点的历史扩展与销毁记录。

TI-EMS 资源组伸缩规则
1. 扩容规则
当资源组中出现因为缺少可用资源而无法调度的容器实例时,将触发自动扩容策略,并尝试扩容节点来运行这些实例。用于判断资源是否充足的标准是资源组中剩余可用资源不满足服务实例的配置值。

当资源组下有多个伸缩组时,系统采用 least-waste 算法进行扩容操作,即选择调度后剩余资源更少的伸缩组进行扩容。
2. 缩容规则
TI-EMS 规定的缩容规则是当资源组中节点空闲资源较多时,将触发缩容。当节点上所有 Pod 的 CPU 或者内存占用资源/可分配资源的比值小于50%时,并且持续10分钟,该节点就会尝试缩容。同时,只有该节点上所有 Pod 都能够成功调度到其他节点上时, Pod 才会被驱逐从而缩容成功。

包年包月资源组节点续费

1. 资源组一键续费
用户可在 TI-EMS 控制台或腾讯云费用中心的续费管理页面对资源组进行一键续费操作,一键续费可将资源组下所有包年包月节点进行批量续费。关于一键续费的详细说明详见 续费说明
2. 节点续费
用户可在 TI-EMS 控制台或腾讯云费用中心的续费管理页面对包年包月节点进行续费操作,关于节点续费的详细说明详见 续费说明
3. 节点设置/关闭自动续费
用户可在 TI-EMS 控制台或腾讯云费用中心的续费管理页面对包年包月节点进行自动续费管理,关于节点自动续费的详细说明详见 续费说明

资源组类型

TI-EMS 所支持的资源组节点类型和定价信息,请参见 定价说明

目录