在完成模型的训练或自定义镜像的开发后，可以使用模型服务模块部署为在线服务。
前提条件
已完成模型的训练并导入模型仓库，或者已将自定义的镜像上传至腾讯云容器镜像服务 TCR。
操作步骤
1. 登录 TI-ONE 控制台，在左侧导航栏中选择模型服务 > 在线服务，进入在线服务列表页面。
2. 在服务列表页面单击新建服务，进入服务启动页面。
3. 在服务启动页面，配置在线服务的相关参数。
3.1 服务基础信息
参数 | 说明 |
服务名称 | 服务的名称，按照界面提示的规则填写即可 |
服务版本 | 版本号系统自动生成 |
服务描述 | 可按需为服务配置描述信息 |
地域 | 同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入 |
计费模式 | 可选择包年包月（资源组）模式或按量付费模式。 （A）包年包月（资源组）模式下，可使用在资源组管理模块已购买的资源组部署服务，算力费用在购买资源组时已支付，启动服务时无需扣费。 （B）按量付费模式下，用户无需预先购买资源组，根据服务依赖的算力规格，启动服务时冻结两小时费用，之后每小时根据运行中的实例数量按量扣费。 |
部署方式 | 可选择标准部署或多机分布式部署。 （A）标准部署模式下，单副本下有1个节点运行，适用于大多数标准场景 （B）多机分布式部署模式下，单副本下有多个节点协调运行，适用于模型需要多机并行的场景 注意：服务新建后，更新服务、新增版本均无法修改部署方式，请新建的时候谨慎选择 |
资源组 | 若选择包年包月（资源组）模式，可选择资源组管理模块的资源组 |
3.2 实例容器信息
参数 | 说明 |
模型来源 | 可选择启动服务是否需要使用模型文件。 （A）选择模型仓库适用于，部署服务所需的模型文件已导入至模型仓库的场景。 （B）选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景。Turbo CFS 仅支持包年包月模式使用。 （C）选择 COS 适用于，部署服务所需的模型文件已放在 COS 文件系统里的场景。COS 仅支持包年包月模式使用。 （D）选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景。 |
运行环境 | （A）若从模型仓库选择模型，则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务，镜像文件大小建议不超过34G。 （B）若从 CFS 选择模型，则运行环境需要根据 CFS 里的模型文件选择对应的内置镜像。 （C）若从 COS 选择模型，则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。 （D）若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像或者内置大模型镜像。 |
存储挂载 | 仅从模型仓库选择模型，支持外挂 CFS 文件系统作为该服务的存储空间：按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约50G）,当您的模型包大小超过限制时，需要另外配置 CFS 文件系统，平台会自动使用 CFS 文件系统存储模型；当服务停止或者服务更新时，平台会默认帮用户清理该 CFS 源路径下的文件，请确保该路径下无其他数据；Turbo CFS 仅支持包年包月模式使用。 |
模型热更新 | 当配置了模型自动热更新后，模型服务会自动同步模型文件至服务本地磁盘，按量付费模式下本地磁盘默认支持的模型包总大小约45G，包年包月（资源组）模式下模型包会存储在资源组节点挂载的磁盘上（资源组单节点磁盘总大小约110G）请合理配置模型清理周期。当前版本仅支持推理镜像为 tfserving 的模型进行热更新；此外，由于模型热更新会持续下载模型到服务本地盘，因此需要该模型包配置了模型自动清理策略，或者模型服务外挂了 CFS 文件系统，才可以启动模型热更新。 |
资源申请/算力规格 | （A）包年包月（资源组）模式下，可设置从所选资源组中申请多少资源用于启动当前服务。 （B）按量付费模式下，可按需选择启动当前服务所需的算力规格。 |
启动命令 | 支持配置容器的启动命令，选填。 |
环境变量 | 支持配置容器的环境变量，选填。 |
3.3 服务高级配置
参数 | 说明 |
实例调节 | （A）手动调节模式下，可以自定义设置服务的实例数量，实例数量最小为1。 |
是否生成鉴权 | 若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。 |
CLS 日志投递 | 平台为用户提供免费的近15日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力 ，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。 |
请求限流 | 支持配置服务限流值： 1. 该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新； 2. 单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。 |
自动停止 | 平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。 |
标签 | 支持为服务添加标签，用于按照标签进行授权或出账。 |
4. 确认服务配置信息无误后，单击启动服务进行服务部署。服务部署过程中将为您创建网关并调度计算资源，需要等待一段时间，待服务成功完成部署时，服务状态将变为运行中。
