TI-ONE 训练平台在线服务部署-操作指南-文档中心-腾讯云

在完成模型的训练或自定义镜像的开发后，可以使用模型服务模块部署为在线服务。   
前提条件
已完成模型的训练并导入模型仓库，或者已将自定义的镜像上传至腾讯云容器镜像服务 TCR。
操作步骤
1. 登录 TI-ONE 控制台，在左侧导航栏中选择模型服务 > 在线服务，进入在线服务列表页面。  
2. 在服务列表页面单击新建服务，进入服务启动页面。  
3. 在服务启动页面，配置在线服务的相关参数。
﻿
﻿
3.1 服务基础信息  
参数
说明
服务名称
服务的名称，按照界面提示的规则填写即可
服务版本
版本号系统自动生成
服务描述
可按需为服务配置描述信息
地域
同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入
计费模式
可选择包年包月（资源组）模式或按量付费模式。
（A）包年包月（资源组）模式下，可使用在资源组管理模块已购买的资源组部署服务，算力费用在购买资源组时已支付，启动服务时无需扣费。
（B）按量付费模式下，用户无需预先购买资源组，根据服务依赖的算力规格，启动服务时冻结两小时费用，之后每小时根据运行中的实例数量按量扣费。
资源组
若选择包年包月（资源组）模式，可选择资源组管理模块的资源组
3.2 实例容器信息
﻿
﻿
参数
说明
模型来源
可选择启动服务是否需要使用模型文件。
（A）选择模型仓库适用于，部署服务所需的模型文件已导入至模型仓库的场景。
（B）选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景。Turbo CFS 仅支持包年包月模式使用。
（C）选择 COS 适用于，部署服务所需的模型文件已放在 COS 文件系统里的场景。COS 仅支持包年包月模式使用。
（D）选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景。
运行环境
（A）若从模型仓库选择模型，则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务，镜像文件大小建议不超过34G。
（B）若从 CFS 选择模型，则运行环境需要根据 CFS 里的模型文件选择对应的内置镜像。
（C）若从 COS 选择模型，则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。
（D）若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像或者内置大模型镜像。
存储挂载
仅从模型仓库选择模型，支持外挂 CFS 文件系统作为该服务的存储空间：按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约50G）,当您的模型包大小超过限制时，需要另外配置 CFS 文件系统，平台会自动使用 CFS 文件系统存储模型；当服务停止或者服务更新时，平台会默认帮用户清理该 CFS 源路径下的文件，请确保该路径下无其他数据；Turbo CFS 仅支持包年包月模式使用。
模型热更新
当配置了模型自动热更新后，模型服务会自动同步模型文件至服务本地磁盘，按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约110G）请合理配置模型清理周期。当前版本仅支持推理镜像为 tfserving 的模型进行热更新；此外，由于模型热更新会持续下载模型到服务本地盘，因此需要该模型包配置了模型自动清理策略，或者模型服务外挂了 CFS 文件系统，才可以启动模型热更新。
资源申请/算力规格
（A）包年包月（资源组）模式下，可设置从所选资源组中申请多少资源用于启动当前服务。
（B）按量付费模式下，可按需选择启动当前服务所需的算力规格。
启动命令
支持配置容器的启动命令，选填。
环境变量
支持配置容器的环境变量，选填。
3.3 服务高级配置
﻿
﻿
﻿
参数
说明
实例调节
（A）手动调节模式下，可以自定义设置服务的实例数量，实例数量最小为1。
（B）自动调节模式下，可以选择基于时间或者基于 HPA 的调节策略，该部分详细说明请查看 在线服务运营。
是否生成鉴权
若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。
CLS 日志投递
平台为用户提供免费的近7日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力 ，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。
请求限流
支持配置服务限流值：
1. 该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新；
2. 单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。
自动停止
平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。
标签
支持为服务添加标签，用于按照标签进行授权或出账。
4. 确认服务配置信息无误后，单击启动服务进行服务部署。服务部署过程中将为您创建网关并调度计算资源，需要等待一段时间，待服务成功完成部署时，服务状态将变为运行中。

参数	说明
服务名称	服务的名称，按照界面提示的规则填写即可
服务版本	版本号系统自动生成
服务描述	可按需为服务配置描述信息
地域	同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入
计费模式	可选择包年包月（资源组）模式或按量付费模式。（A）包年包月（资源组）模式下，可使用在资源组管理模块已购买的资源组部署服务，算力费用在购买资源组时已支付，启动服务时无需扣费。（B）按量付费模式下，用户无需预先购买资源组，根据服务依赖的算力规格，启动服务时冻结两小时费用，之后每小时根据运行中的实例数量按量扣费。
资源组	若选择包年包月（资源组）模式，可选择资源组管理模块的资源组

参数	说明
模型来源	可选择启动服务是否需要使用模型文件。（A）选择模型仓库适用于，部署服务所需的模型文件已导入至模型仓库的场景。（B）选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景。Turbo CFS 仅支持包年包月模式使用。（C）选择 COS 适用于，部署服务所需的模型文件已放在 COS 文件系统里的场景。COS 仅支持包年包月模式使用。（D）选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景。
运行环境	（A）若从模型仓库选择模型，则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务，镜像文件大小建议不超过34G。（B）若从 CFS 选择模型，则运行环境需要根据 CFS 里的模型文件选择对应的内置镜像。（C）若从 COS 选择模型，则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。（D）若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像或者内置大模型镜像。
存储挂载	仅从模型仓库选择模型，支持外挂 CFS 文件系统作为该服务的存储空间：按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约50G）,当您的模型包大小超过限制时，需要另外配置 CFS 文件系统，平台会自动使用 CFS 文件系统存储模型；当服务停止或者服务更新时，平台会默认帮用户清理该 CFS 源路径下的文件，请确保该路径下无其他数据；Turbo CFS 仅支持包年包月模式使用。
模型热更新	当配置了模型自动热更新后，模型服务会自动同步模型文件至服务本地磁盘，按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约110G）请合理配置模型清理周期。当前版本仅支持推理镜像为 tfserving 的模型进行热更新；此外，由于模型热更新会持续下载模型到服务本地盘，因此需要该模型包配置了模型自动清理策略，或者模型服务外挂了 CFS 文件系统，才可以启动模型热更新。
资源申请/算力规格	（A）包年包月（资源组）模式下，可设置从所选资源组中申请多少资源用于启动当前服务。（B）按量付费模式下，可按需选择启动当前服务所需的算力规格。
启动命令	支持配置容器的启动命令，选填。
环境变量	支持配置容器的环境变量，选填。

参数	说明
实例调节	（A）手动调节模式下，可以自定义设置服务的实例数量，实例数量最小为1。（B）自动调节模式下，可以选择基于时间或者基于 HPA 的调节策略，该部分详细说明请查看在线服务运营。
是否生成鉴权	若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。
CLS 日志投递	平台为用户提供免费的近7日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。
请求限流	支持配置服务限流值： 1. 该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新； 2. 单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。
自动停止	平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。
标签	支持为服务添加标签，用于按照标签进行授权或出账。

在线服务部署

本页目录：

前提条件

操作步骤