TI-ONE 训练平台在线服务部署

在完成模型的训练或自定义镜像的开发后，可以使用模型服务模块部署为在线服务。   
﻿
操作步骤
登录 TI-ONE 控制台，在左侧导航栏中选择模型服务 > 在线服务，进入在线服务列表页面。  在服务列表页面单击新建服务，进入服务启动页面。  在服务启动页面，配置在线服务的相关参数。
1. 服务基础信息  
﻿
参数填写说明：
参数
说明
服务名称
服务的名称，按照界面提示的规则填写即可。
服务版本
版本号系统自动生成。
服务描述
可按需为服务配置描述信息。
地域
同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入。
部署方式
支持多种部署方式：
标准部署：单副本下有1个实例运行，适用于大多数标准场景。
多机分布式部署：单副本下有多个实例协调运行，适用于模型需要多机并行的场景。
多角色部署（PD 分离）：目前仅支持白名单开放，适用于服务需要分多个角色部署的场景（如 Prefill 和 Decode 角色），单副本下有若干角色，每个角色下有1个或多个实例协调运行。
注意：
服务新建后，更新服务、新增版本均无法修改部署方式，请新建的时候谨慎选择。
机器来源
可选择“从 CVM 机器中选择”或“从 TIONE 平台购买”：
“从 CVM 机器中选择”模式下，可使用在资源组管理模块已购买的 CVM 机器的资源组部署服务，算力费用在购买资源组时已支付，启动服务时无需扣费。
“从 TIONE 平台购买”模式下，用户无需预先购买资源组，根据服务依赖的算力规格，启动服务时冻结两小时费用，之后每小时根据运行中的实例数量按量扣费。
资源组
若选择“从 CVM 机器中选择”模式，可选择资源组管理模块的资源组。
2. 副本设置信息
﻿
参数填写说明：
参数
说明
模型来源
支持多种模型来源（不同部署方式下支持的模型来源也不一致）：
选择模型仓库适用于，部署服务所需的模型文件已导入至模型仓库的场景。
选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景，选择模型所在的 CFS 实例，路径输入到模型所在路径的层级（如模型为精调出来的 checkpoint500，则路径输入到/a/b/checkpoint500这一层级）。CFS Turbo 仅支持机器来源为“从 CVM 机器中选择”时使用。
选择 GooseFsx 适用于，部署服务所需的模型文件已放在 GooseFSx 文件系统里的场景，选择模型所在的 GooseFSx 实例，路径输入到模型所在路径的层级。GooseFSx 仅支持机器来源为“从 CVM 机器中选择”时使用。
选择 COS 适用于，部署服务所需的模型文件已放在 COS 文件系统里的场景，选择模型所在存储桶实例和所在路径的层级。COS 仅支持机器来源为“从 CVM 机器中选择”时使用。
选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景；或者内置大模型的场景。
运行环境
若从模型仓库选择模型，则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务，镜像文件大小建议不超过34G。
若从 CFS 或 GooseFSx 选择模型，则运行环境需要根据模型文件选择对应的内置镜像。
若从 COS 选择模型，则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。
若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像、输入镜像地址或者内置大模型镜像。
开启 GRPC
开关默认关闭。关闭时仅支持 HTTP 协议调用。开启后支持 GRPC 协议调用。
端口
支持配置容器对外暴露的端口，可填范围 1024-65535，但不包括 8502-8510,6006,9092。
额外注意两个特殊端口号：8500 是 GRPC 的默认端口，8501 是 REST 的默认端口，不可混淆使用。
资源申请/算力规格
1. 包年包月（资源组）模式下，可设置从所选资源组中申请多少资源用于启动当前服务。
2. 按量付费模式下，可按需选择启动当前服务所需的算力规格。
启动命令
支持配置容器的启动命令，选填。
环境变量
支持配置容器的环境变量，选填。
优雅停止时限
即 Kubernetes 的 terminationGracePeriodSeconds，停止时间超过该时限的 Pod 将被强制销毁。默认值为30s。
停止前执行
即 Kubernetes 的 PreStop 命令，Pod 在销毁前会先执行该命令以实现优雅停止，选填。命令格式为字符串数组，例如：“["sleep", "70"]”。
选择Sidecar容器镜像
支持用户自定义配置 Sidecar 容器镜像，选填。
3. 服务特性配置
﻿
参数说明：
参数
说明
请求限流
支持配置服务限流值：
不限流默认单个服务最大的 QPS 为500，限流值大于500时，按照500进行限流，当购买服务升级包后，服务的总限流值以购买升级包的上限为准。
单副本 QPS 的限流值为单个实例的限流。
单副本最大并发数为单个实例的限流。
注意：
该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新；单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。
副本调节
手动调节：可以自定义设置服务的副本数量，副本数量最小为1。
自动调节：可以选择基于时间或者基于 HPA 的调节策略，该部分详细说明请查看 在线服务运营。
是否生成鉴权
若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。
开启鉴权后，将会为您自动生成服务的首个密钥，您可在服务详情页-服务鉴权中查看并创建更多密钥。
CLS 日志投递
平台为用户提供免费的近15日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力 ，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。
重试策略
配置服务部署失败时采用的重试逻辑，支持“有限次重试”或“无限次重试”。默认值为有限重试5次。只有在新部署服务时才会使用该逻辑；更新服务或启动已停止服务时，系统将采用“无限次重试”。
滚动更新策略
支持设置服务滚动更新策略，确保服务平滑升级：
MaxSurge：表示滚动更新期间，允许超出所需规模的最大副本数量。
MaxUnavailable：表示滚动更新期间，允许不可用副本数量的上限。
健康检测
Kubernetes 的健康检查机制，支持自动检测并恢复失败的容器，确保流量分发到健康的实例上。
存活检测：Liveness Probes，验证服务进程是否存活，容器是否正常运行。触发阶段：容器启动后持续运行（整个生命周期）。
就绪检测：Readiness Probes，确认服务已具备处理请求的能力，容器是否准备好接受流量。触发阶段：容器启动后持续运行（整个生命周期）。
启动检测：Startup Probes，对慢启动容器进行监控检查，检测容器内应用是否完成。触发阶段：仅在容器启动阶段运行（成功后停止）。
检查方法支持三种：HTTPGet、TCPSocket、Exec。
自动停止
平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。
标签
支持为服务添加标签，用于按照标签进行授权等。
4. 启动服务
确认服务配置信息无误后，单击启动服务进行服务部署。服务部署过程中将为您创建网关并调度计算资源，需要等待一段时间，待服务成功完成部署时，服务状态将变为运行中。

参数	说明
服务名称	服务的名称，按照界面提示的规则填写即可。
服务版本	版本号系统自动生成。
服务描述	可按需为服务配置描述信息。
地域	同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入。
部署方式	支持多种部署方式：标准部署：单副本下有1个实例运行，适用于大多数标准场景。多机分布式部署：单副本下有多个实例协调运行，适用于模型需要多机并行的场景。多角色部署（PD 分离）：目前仅支持白名单开放，适用于服务需要分多个角色部署的场景（如 Prefill 和 Decode 角色），单副本下有若干角色，每个角色下有1个或多个实例协调运行。注意：服务新建后，更新服务、新增版本均无法修改部署方式，请新建的时候谨慎选择。
机器来源	可选择“从 CVM 机器中选择”或“从 TIONE 平台购买”： “从 CVM 机器中选择”模式下，可使用在资源组管理模块已购买的 CVM 机器的资源组部署服务，算力费用在购买资源组时已支付，启动服务时无需扣费。 “从 TIONE 平台购买”模式下，用户无需预先购买资源组，根据服务依赖的算力规格，启动服务时冻结两小时费用，之后每小时根据运行中的实例数量按量扣费。
资源组	若选择“从 CVM 机器中选择”模式，可选择资源组管理模块的资源组。

参数	说明
模型来源	支持多种模型来源（不同部署方式下支持的模型来源也不一致）：选择模型仓库适用于，部署服务所需的模型文件已导入至模型仓库的场景。选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景，选择模型所在的 CFS 实例，路径输入到模型所在路径的层级（如模型为精调出来的 checkpoint500，则路径输入到/a/b/checkpoint500这一层级）。CFS Turbo 仅支持机器来源为“从 CVM 机器中选择”时使用。选择 GooseFsx 适用于，部署服务所需的模型文件已放在 GooseFSx 文件系统里的场景，选择模型所在的 GooseFSx 实例，路径输入到模型所在路径的层级。GooseFSx 仅支持机器来源为“从 CVM 机器中选择”时使用。选择 COS 适用于，部署服务所需的模型文件已放在 COS 文件系统里的场景，选择模型所在存储桶实例和所在路径的层级。COS 仅支持机器来源为“从 CVM 机器中选择”时使用。选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景；或者内置大模型的场景。
运行环境	若从模型仓库选择模型，则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务，镜像文件大小建议不超过34G。若从 CFS 或 GooseFSx 选择模型，则运行环境需要根据模型文件选择对应的内置镜像。若从 COS 选择模型，则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像、输入镜像地址或者内置大模型镜像。
开启 GRPC	开关默认关闭。关闭时仅支持 HTTP 协议调用。开启后支持 GRPC 协议调用。
端口	支持配置容器对外暴露的端口，可填范围 1024-65535，但不包括 8502-8510,6006,9092。额外注意两个特殊端口号：8500 是 GRPC 的默认端口，8501 是 REST 的默认端口，不可混淆使用。
资源申请/算力规格	1. 包年包月（资源组）模式下，可设置从所选资源组中申请多少资源用于启动当前服务。 2. 按量付费模式下，可按需选择启动当前服务所需的算力规格。
启动命令	支持配置容器的启动命令，选填。
环境变量	支持配置容器的环境变量，选填。
优雅停止时限	即 Kubernetes 的 terminationGracePeriodSeconds，停止时间超过该时限的 Pod 将被强制销毁。默认值为30s。
停止前执行	即 Kubernetes 的 PreStop 命令，Pod 在销毁前会先执行该命令以实现优雅停止，选填。命令格式为字符串数组，例如：“["sleep", "70"]”。
选择Sidecar容器镜像	支持用户自定义配置 Sidecar 容器镜像，选填。

参数	说明
请求限流	支持配置服务限流值：不限流默认单个服务最大的 QPS 为500，限流值大于500时，按照500进行限流，当购买服务升级包后，服务的总限流值以购买升级包的上限为准。单副本 QPS 的限流值为单个实例的限流。单副本最大并发数为单个实例的限流。注意：该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新；单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。
副本调节	手动调节：可以自定义设置服务的副本数量，副本数量最小为1。自动调节：可以选择基于时间或者基于 HPA 的调节策略，该部分详细说明请查看在线服务运营。
是否生成鉴权	若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。开启鉴权后，将会为您自动生成服务的首个密钥，您可在服务详情页-服务鉴权中查看并创建更多密钥。
CLS 日志投递	平台为用户提供免费的近15日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。
重试策略	配置服务部署失败时采用的重试逻辑，支持“有限次重试”或“无限次重试”。默认值为有限重试5次。只有在新部署服务时才会使用该逻辑；更新服务或启动已停止服务时，系统将采用“无限次重试”。
滚动更新策略	支持设置服务滚动更新策略，确保服务平滑升级： MaxSurge：表示滚动更新期间，允许超出所需规模的最大副本数量。 MaxUnavailable：表示滚动更新期间，允许不可用副本数量的上限。
健康检测	Kubernetes 的健康检查机制，支持自动检测并恢复失败的容器，确保流量分发到健康的实例上。存活检测：Liveness Probes，验证服务进程是否存活，容器是否正常运行。触发阶段：容器启动后持续运行（整个生命周期）。就绪检测：Readiness Probes，确认服务已具备处理请求的能力，容器是否准备好接受流量。触发阶段：容器启动后持续运行（整个生命周期）。启动检测：Startup Probes，对慢启动容器进行监控检查，检测容器内应用是否完成。触发阶段：仅在容器启动阶段运行（成功后停止）。检查方法支持三种：HTTPGet、TCPSocket、Exec。
自动停止	平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。
标签	支持为服务添加标签，用于按照标签进行授权等。

在线服务部署

本页目录：

操作步骤