模型优化是 TI-ONE 平台模型推理加速的模块，使用了 TI-ACC 的能力，可对模型仓库里纳管的模型进行推理优化加速，降本增效，目前限时免费，但模型优化后的模型仅能支持在 TI-ONE 平台模型服务进行推理服务使用。
优化任务列表
优化任务列表中可查看优化任务名、优化进度以及加速比等信息，并支持对优化后的模型进行保存到模型仓库等操作。优化进度会包含“启动中”、“加速中”、“加速完成”等状态，一般该过程需要持续几分钟的时间。
支持对优化中（启动中、加速中）的任务进行停止，单击停止按钮，此任务即被停止。
支持对加速完成的任务进行保存和发布服务，单击保存到模型仓库按钮，此优化任务得到的优化模型即保存到模型仓库优化模型列表页面。
支持对加速失败的任务进行重新加速，单击更多 > 重新加速按钮，可对该优化任务进行重新编辑和加速。
支持对优化任务进行删除，单击删除按钮，此任务即被删除。
支持对标签进行编辑，单击编辑标签按钮，可进行标签编辑。
新建优化任务
当模型格式支持 TorchScript、Hugging Face、MMDetection、Detectron2、ONNX、Savedmodel、Frozen Graph 格式，参考如下指引进行接入。
1. 输入任务名称，当仅优化一个模型及版本时，任务名称为客户填写的任务名称，当添加了多个模型或者版本时，会生成多个优化任务，每个任务的名称为客户填写的任务名称+“-模型名称”+“-模型版本”+“#”+序号；
2. 根据需要进行标签添加；
3. 选择模型来源 ，与模型仓库的模型来源字段一致，会在模型名称根据选择的模型来源进行对应的筛选。
4. 选择模型名称 ，即待优化的模型，支持一个优化任务添加多个模型和版本，当添加了多个模型或者版本时，会生成多个优化任务，每个任务的名称为客户填写的任务名称+“-模型名称”+“-模型版本”+“#”+序号；
5. 选择模型版本 ，即待优化的模型版本，支持选择多个版本和对应的文件。
6. 选择模型文件，即待优化的具体模型文件，不同格式的模型文件后缀不同，请参考具体提示。
7. QAT模型，即量化感知训练。量化感知训练(QAT)是一种用于深度学习的技术，用于训练可 以量化的模型，以便部署在计算能力有限的硬件上。QAT 在训练过程中模拟量化，让模型在不损失精度的情况下适应更低的位宽。与量化预训练模型的训练后量化 (PTQ)不同，QAT 涉及在训练过程本身中量化模型。
说明：
QAT 过程可以分解为以下步骤：
1. 定义模型：定义一个浮点模型，就像常规模型一样。
2. 定义量化模型：定义一个与原始模型结构相同但增加了量化操作(如 torch.quantization.QuantStubQ)和反量化操作(如 torch.quantization.DeQuantstub())的量化模型。
3. 准备数据：准备训练数据并将其量化为适当的位宽。
4. 训练模型：在训练过程中，使用量化模型进行正向和反向传递，并在每个epoch 或 batch 结束时使用反量化操作计算精度损失。
5. 重新量化：在训练过程中，使用反量化操作重新量化模型参数，并使用新的量化参数继续训练。
6. Fine-tuning：训练结束后，使用 fine-tuning 技术进一步提高模型的准确率。
8. 输入 Tensor 信息， 并可以添加多个 Tensor 信息，Tensor 信息有三种情况，固定维度、动态连续、动态离散。
固定维度：input_name[tensor_name]:type(shape)，如 input_0[image]:float(3*1024*1024)；
动态连续维度：input_name[tensor_name]:type(shape_min，shape_max)，如 input_0[image]:float(3*1024*2048,3*2048*2048)；
动态离散维度：input_name[tensor_name]:type([shape1，shape2，..shapeN])，如 input_0[image]:float([3*1024*1024,3*2048*2048])
9. 默认使用最新的加速库引擎版本即可，每个格式最新的加速库引擎版本会有不同；
10. 优化级别可以选择 FP16 或无损 两种方式，无损代表使用模型原始精度进行优化，FP16 代表转为 FP16 精度进行优化，推荐使用FP16进行优化，推理速度比无损要高，并且一般不会造成精度下降。
11. 部署机型可以选择 T4 、V100或A10 三种机型，优化时选的部署机型需要和实际部署服务的机型保持一致，即如果需要T4部署服务，则这里需要选择T4机型。
12. 单击选择路径，即选择优化后的模型要保存的位置，该位置和原始模型的主目录不能有重合，当对加速完成的模型单击保存到模型仓库时，会在该路径下将原始模型目录的所有文件进行复制，放在该路径下的新生成的 m-xxx/mv-xxx 文件夹里，并生成优化后模型tiacc.pt，优化后的模型放到model文件夹下，如果想要对优化后的模型进行部署，需要符合TI-ONE平台的 模型包规范。
13. 单击确定 ，即开始进行优化任务，并返回到优化任务列表页。
优化任务详情
单击优化任务名称可进入优化任务详情页面，可以查看详细的任务信息和优化报告，并进行相应的操作。
