Polyaxon食谱 | 大规模深度学习应用训练平台使用笔记，让代码在集群上飞快跑起来

# 查看所有节点/Pod
$ kubectl get nodes/pods
# 查看指定节点/Pod的详细信息
$ kubectl describe nodes/pods [name]
# 在一个pod的运行的某个容器(如果只有一个，则省略-c部分)中获取shell
$ kubectl exec -it [pod-name] -c [container-name] -- /bin/bash
# 列出每个节点GPU的使用情况
# 目前无法列出具体GPU的编号，但是我认为这部分是由k8s管理起来了，即自动调度可用的GPU
$ kubectl describe nodes  |  tr -d '\000' | sed -n -e '/^Name/,/Roles/p' -e '/^Capacity/,/Allocatable/p' -e '/^Allocated resources/,/Events/p'  | grep -e Name  -e  nvidia.com  | perl -pe 's/\n//'  |  perl -pe 's/Name:/\n/g' | sed 's/nvidia.com\/gpu:\?//g'  | sed '1s/^/Node Available(GPUs)  Used(GPUs)/' | sed 's/$/ 0 0 0/'  | awk '{print $1, $2, $3}'  | column -t
# 显示目前GPU的情况：利用polyaxon的notebook执行nvidia-smi, 或者在运行的容器里面呼出shell, 或者使用polyaxon的gpu监测命令来监视GPU内存使用情况

# describe部分输出信息说明:
# Capacity: 容量; Allocatable: 可分配；Allocated：已分配
# cpu: 56 # cpu核心数
# cpu: 55900m # 100m=0.1个cpu核心，故这里指55.9个cores
# ephemeral-storage: 临时存储空间; 以字节为基本单位
# memory: 内存
# nvidia.com/gpu: 有/可分配gpu数
# hugepages-2Mi: 80Mi : 分配的大页面可以超过4KiB的默认页面大小，若分配大小超过为40个2Mi(共80Mi)的大页面则分配失败
# requests: 该node/pod/container需要的资源大小
# limits: 该node/pod/container最大可分配资源大小
# requests: 625m(1%) : 百分比例含义: 625m/55900m=1%

$ pip install -U polyaxon-cli #安装polyaxon-cli
# 配置polyaxon
$ polyaxon config -l #列出当前配置
$ polyaxon config set --host=[ip] --port=[port]
# 登录
$ polyaxon login -u [username] -p [password] #注意如果是内网映射到外网，要设置终端代理
# 检查是否正运行与平台兼容的CLI版本
$ polyaxon version --cli
$ polyaxon version --platform
# 检查是否登录
$ polyaxon whoami

# 创建项目
#【example】
$ polyaxon project create --name=quick-start --description="Polyaxon quick start."
$ git clone https://github.com/polyaxon/polyaxon-quick-start.git
$ cd polyaxon-quick-start
# 使用在Polyaxon中创建项目时使用的名称初始化项目，并生成默认的配置文件polyaxonfile.yaml
$ polyaxon init quick-start --polyaxonfile

version: 1 # 指定使用的polyaxon版本，无关紧要的参数，默认就好
kind: experiment # 操作的类型，除此之外，还有notebook，tensorboard，group等
environment:
  node_selector: # 选择集群中哪个节点来运行该实验
    kubernetes.io/hostname: gpu-a  # 节点名
  resources: # 要求的资源 (cpu,内存，GPU等)，一般是GPU
    gpu: # 注：在GPU调度中k8s要求requests和limits必须相同
      requests: 1 # 目前要求的
      limits: 1 # 最大限制
# 构建部分将构建一个docker映像，在本例中，我们希望使用指定的tensorflow docker映像运行我们的代码。我们还安装了用于跟踪和在实验结束时发送metrics的polyaxon-client
build:
  image: tensorflow/tensorflow:1.4.1-py3
  build_steps:
    - pip3 install polyaxon-client # polyaxon的python包
run: #执行代码
  cmd: python model.py

# update code
$ polyaxon upload
# start an experiment
$ polyaxon run
# 上面两条可以合成一条
$ polyaxon run -u

# 列出该项目的所有实验
$ polyaxon project experiments

# 检查实验日志
$ polyaxon experiment -xp [exp-id] get

# 开始另一个实验
$ polyaxon run -f [实验配置文件.yaml]

# 开始一组实验（比如调参时用）
# 检查实验配置文件是否有效
$ polyaxon check -f polyaxonfile_hyperparams.yaml --definition
# 开始一组实验
$ polyaxon run -f polyaxonfile_hyperparams.yaml
# check这组实验的相关信息
$ polyaxon group -g [group-id] get # 这个组的整体信息
$ polyaxon group -g [group-id] experiments # 这个组的所有实验的信息
$ polyaxon group -g [group-id] experiments -m # 这个组所有实验的metric
$ polyaxon group -g [group-id] experiments -p # 这个组所有实验的参数

# 过滤指定信息
$ polyaxon group -g [group-id] experiments -m -q "status:succeeded, params.activation:relu|sigmoid, metrics.loss:<=0.3"

# Dashboard
$ polyaxon dashboard

# tensorboard
# 可以为一个单独的实验，一个小组的所有实验，或者一个项目的所有实验启动一个tensorboard
$ polyaxon tensorboard -xp [exp-id] start -f [tensorboard配置文件]
$ polyaxon tensorboard -xp [exp-id] stop

# notebook
$ polyaxon notebook start -u -f [使用的配置文件路径]
$ polyaxon notebook stop

$ polyaxon check -f polyaxonfile.yaml -def

version: 1 # Represents the polyaxon file specification version. 不用管就是
kind: experiment # 操作的种类: experiment, group, job, notebook, tensorboard, pipeline
logging:
  level: INFO  # log level
  formatter: # The log formatter regex.
environment:
  node_selector: # 选择指定节点
    kubernetes.io/hostname: gpu_a
  resources:
    cpu:
      requests: 1
      limits: 2
    gpu:
      requests: 1
      limits: 1
params:
  batch_size: 128
  convolutions:
    conv1:
       kernels: [32, 32]
       size: [2, 2]
       strides: [1, 1]
    conv2:
       kernels: [64, 64]
       size: [2, 2]
       strides: [1, 1]
build:
  image: http://[私有仓库ip]/nvidia/pytorch:20.01-py3 #可以使用公共镜像也可以使用实验室私有的
  build_steps:
    - pip install PILLOW
    - pip install scikit-learn
  # dockerfile: path/to/Dockerfile 通过dockerfile构建全新的镜像，而不通过指定现有的镜像
run:
  cmd: python model.py --conv1_kernels="{{ convolutions.conv1.kernels }}" --conv1_stides="{{ convolutions.conv1.strides }}" --batch-size={{ batch_size }}

version: 1

kind: experiment

inputs:
  - name: batch_size
    description: batch size
    is_optional: true # 是否可选
    default: 128
    type: int
  - name: num_steps
    is_optional: true
    default: 500
    type: int
  - name: learning_rate
    is_optional: true
    default: 0.001
    type: float
  - name: dropout
    is_optional: true
    default: 0.25
    type: float
  - name: num_epochs
    is_optional: true
    default: 1
    type: int
  - name: activation
    is_optional: true
    default: relu
    type: str


build:
  image: tensorflow/tensorflow:1.4.1-py3
  build_steps:
    - pip3 install --no-cache-dir -U polyaxon-client==0.5.0

run:
  cmd:  python3 model.py --batch_size={{ batch_size }} \
                         --num_steps={{ num_steps }} \
                         --learning_rate={{ learning_rate }} \
                         --dropout={{ dropout }} \
                         --num_epochs={{ num_epochs }} \
                         --activation={{ activation }}