在 AIGems 中使用交互式建模
教程目标
本文主要演示在AIGems中使用交互式建模服务来在平台中对Cidar项目进行演示开发流程和开发验证一个简单推理服务
CIFAR-10是一个更接近普适物体的彩色图像数据集。CIFAR-10 是由Hinton 的学生Alex Krizhevsky 和Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。一共包含10 个类别的RGB 彩色图片：飞机（ airplane ）、汽车（ automobile ）、鸟类（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、蛙类（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。每个图片的尺寸为32 × 32 ，每个类别有6000个图像，数据集中一共有50000 张训练图片和10000 张测试图片。
文中所有的代码和资源均保存在 https://github.com/kubegems/OpenGems-tutorials 仓库内
第一步 创建工作空间
这一步主要作用创建个人空间，用于保存开发环境以及保存研究过程中的数据
创建个人空间
第二步 创建交互式建模实例
- 设置实例规格
规格
- 设置jupyter notebook镜像
实例规格
- 挂载个人空间
挂载个人空间
最终设置完成后，参考如下图
第三步 访问Jupyter Notebook
当交互式实例状态为Running后，可以点击卡片上的“访问”按钮进行访问实例
im实例状态
Notebook初始页
如果没有设置 Notebook的访问密码，则Notebook采用Token方式登陆，Token位于实例的启动日志当中
输入Token后，即可进去Notebook的页面
Jupyter Notebook
第四步 基于Conda初始化开发环境
- 进入到Notebook的 "Terminal" 工具，并cd到到个人空间目录（默认挂载路径是/datas/workspaces）
- 使用conda初始化一个python 3.8的环境,并等待conda执行完成
$ conda create -p /datas/workspaces/py38 python=3.8
- 激活conda环境，并安装conda的jupyter ikernel
$ conda activate /datas/workspaces/py38
$ conda install ipykernel
$ python -m ipykernel install --user --name cifar
Installed kernelspec cifar in /home/jovyan/.local/share/jupyter/kernels/cifar
第五步 上传 cifar10.ipynb
上传 cifar10.ipynb 文件后，kernel选择刚刚conda环境中创建的cifar kernel
kernel
第六步 开始开发
此时您在AIGems平台上创建了个人专属的交互式建模实例，您可以根据我们提供的 cifar.ipynb 文件进行 step-by-step 执行。
您可以根据ipynb脚本中提供train方法在交互式建模实例中进行简单的train实验和对结果进行简单的预测
train
test
第七步 使用flask快速启一个推理服务
- 上传
infer.py文件，进入Notebook的Ternimal，执行执行下述命令
$ pip install flask
$ python infer.py
* Serving Flask app 'infer'
* Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
* Running on http://127.0.0.1:5000
Press CTRL+C to quit
- 验证
上传文件 img_car.jpg、img_dog.jpg、img_plane.jpg，并使用 curl 调用简单测试功能
dog
$ curl -F "img=@img_dog.jpg" localhost:5000
img content is: dog(base)
plane
$ curl -F "img=@img_plane.jpg" localhost:5000
img content is: plane(base)
car
$ curl -F "img=@img_car.jpg" localhost:5000
img content is: car(base)
实用的技巧
1. 复用 Conda 环境
由于您的 conda 环境安装在您创建的 个人空间 中，所以以后您创建的任何训练任务、建模任务和推理任务都可以将该个人空间挂载到任务当中，这样即可以保证您在开发和训练阶段的python环境始终保持一致。
如果多个任务类型相同，您甚至可以将 个人空间 同时挂载给多个任务使用，可极大减少准备python环境的时间。