有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
模型管理是 TI-ONE 训练平台提供模型纳管、优化的模块,包含模型仓库和模型优化两个子模块。n模型仓库是 TI-ONE 平台模型纳管的统一入口,用户可对平台训练出的模型及用户自有的本地模型进行纳管。
支持训练出的模型导入及第三方模型的增删改查。
支持对模型优化加速过的模型进行删除、修改和查看。
支持对纳管的模型、相应的推理代码和配置文件进行服务发布封装。
支持对模型、模型版本以及版本下子目录进行管理。
支持查看模型关联的在线服务。
支持查看模型关联的批量预测任务。
支持对模型热更新相关功能。
模型优化是 TI-ONE 平台模型推理加速的模块,使用了 TI-ACC 的能力,可对模型仓库里纳管的模型进行推理优化加速,降本增效,模型优化后的模型仅能支持在 TI-ONE 平台模型服务进行推理服务使用。
支持模型仓库纳管的模型进行推理加速。
支持快速进行批量模型加速。
支持对 CV、NLP、以及 OCR 等领域常用模型进行加速。
优化级别支持无损、FP16 两种级别。
支持对多输入节点、固定&动态 shape 的模型进行优化。
支持输出模型推理部分的加速报告。
支持对优化后的模型保存到模型仓库进行服务发布。