准备自定义运行环境

最近更新时间:2019-11-18 18:11:09

TI-EMS 可支持用户使用自定义运行环境,您可以在 TI-EMS 上导入自定义镜像,并且使用您的镜像加载模型。
单击【运行环境】,您将看到【我的运行环境】页面,在这个页面您可以添加自定义镜像,并加载模型生成服务。

TI-EMS 自定义运行环境规范

  • Docker 镜像:需用户制作 Docker 镜像,解决运行服务脚本需要的依赖和环境变量,平台获取镜像权限后执行 docker run [docker-image] /usr/bin/start.sh,用户制作镜像时需要提供/usr/bin/start.sh
  • 镜像管理 & 镜像授权:TI-EMS 需要拥有拉取镜像仓库公有镜像的权限,若您的镜像为私有镜像,请 联系我们
  • 环境变量来源:用户制作镜像时设置(平台不负责设置)。
  • 模型文件:用户提供模型地址,映射为/data/model/m/
  • 服务脚本:需用户开发,HTTP 端口9001,gRPC 端口9000。
  • 处理请求:需用户开发,处理端口9001上的 HTTP POST 请求,处理端口9000上的 gRPC 请求。
  • 健康检查:需用户开发,处理端口9001上的 HTTP GET 请求,并返回 AVAILABLE。
  • 需要用户开启鉴权

创建步骤

首先创建 Docker 基础镜像,包括安装相关框架以及依赖包。然后迁移模型服务代码到基础镜像,需根据 TI-EMS 模型文件路径以及模型服务端口约定修改模型服务代码。最后,添加服务启动脚本,TI-EMS 启动会默认运行模型启动脚本。

  1. 创建 Docker 基础镜像,编写 Dockerfile 文件。
  2. 迁移模型服务脚本,根据 TI-EMS 模型文件以及模型服务端口约定修改模型服务脚本。
    2.1 修改模型文件加载路径,以及模型服务脚本中和模型文件路径相关代码,TI-EMS 模型文件默认保存路径为:/data/model/m
    2.2 修改模型服务端口,TI-EMS HTTP 模型服务使用9001端口,gRPC 服务默认是用9000端口。
    2.3 添加启动脚本,TI-EMS 启动容器会默认调用/usr/bin/start.sh
  3. 将修改后模型服务文件,和启动脚本文件放到基础镜像对应位置,commit 生成最终 TI-EMS 服务镜像(迁移模型服务脚本可能需要多次修改,建议先生成基础镜像,然后修改模型服务脚本和添加启动脚本等,调试完成后,再 commit 生成最终镜像)。

有更多问题,请加入 TI-EMS 用户交流群(QQ群:836843676)或直接 提交工单