在线推理

最近更新时间:2019-11-28 20:15:56

配置服务启动基本信息

服务名称:创建服务的名称。
资源组:选择服务运行占用的资源组(资源组详细介绍请看 资源组管理
服务配置 :本服务对应的模型服务配置信息,由 创建模型服务配置 步骤确定。

实例资源配置

TI-EMS 针对不同的模型服务运行资源需求为您提供了【CPU 配置】和【GPU 配置】,若您选择在公共资源组启动服务,则需要选择 CPU quota 和 GPU quota 并指定对应 quota 的数量,公共资源组的服务计费方式按照 quota 单价 * 数量 * 服务运行时长(公共资源组计费方式暂未开放,目前仅对白名单用户开放免费使用),若您选择在专用资源组启动服务,则需自定义 CPU 配置和 GPU 配置,用户在预购的专用资源组启动的服务不再另外收费。

配置实例扩展策略

手动调节实例: 选择手动调节实例,可以直接设定启动服务时的实例数量,实例数量最小设置为1。
自动调节实例: 选择自动调节实例,可以设置多种触发策略,当满足触发策略时,按照指定的实例伸缩范围自动调节。TI-EMS 目前支持的触发指标如下:

  • CPU 利用率
  • 内存利用率
  • GPU 利用率

当系统实际指标小于触发指标设定值时,执行自动缩容,大于设定值时,执行自动扩容。实例配置完成后,单击【启动服务】,即可快速启动服务,并跳转到模型服务列表页面。

更新在线服务

单击模型服务列表页面的【更新】,即可更新当前服务的配置,单击服务配置下拉框,您可以选择该服务配置的其他不同版本,您也可以改变服务启动的实例调节触发策略。

服务配置更新完成后,单击【启动服务】,即可快速更新一个服务,并跳转到模型服务列表页面。

管理在线服务

停止与启动服务

单击列表右侧的【停止】,正在运行的服务会启动停止程序,服务所占用的资源即被释放。单击【启动】,服务会按照当前配置项进行重新启动。

删除服务

单击列表右侧的【更多】>【删除】,即可删除对应的模型服务。

说明:

正在运行的服务不可以直接删除,需要先停止该服务,才可以删除。

监控

TI-EMS 提供在线服务的监控能力,用户可通过监控数据窗口了解各服务的运行状况和实例变化情况。TI-EMS 的监控窗口包括服务监控和事件监控。
在模型服务列表页面,找到您想要进行监控的服务,并在【服务详情】页面下,单击【监控图标】,即可展示模型服务的监控窗口。

  • 服务监控:TI-EMS 的服务监控窗口包括 QPS(每秒响应请求次数)、异常请求个数、响应时间分布、平均响应时间、网络流量、CPU 使用率、GPU 使用率、MEM 使用率等基础数据统计。
  • 事件监控:TI-EMS 的事件监控窗口主要记录服务实例的扩展事件,通过记录事件 ID、内容、状态和时间来查看服务在一段时间内的实例扩缩情况。
说明:

  • 在【监控】视窗,可切换时间粒度分别为24小时、近7天和自定义时间区间。
  • 通过窗口右上角的实例下拉框,可切换查看不同实例的监控统计数据。

日志

TI-EMS 支持查看单个服务不同实例的日志,用户可通过日志数据窗口查看各服务的运行日志。