有奖征文:轻量对象存储LighthouseCOS用户实践> HOT

模块概述

TI-ONE 的在线服务模块,提供将模型部署为在线推理服务的能力,供用户通过 API 接口调用的方式对接自身业务应用。在线服务支持虚拟化异构算力和弹性扩缩容能力,帮助用户解决模型部署复杂、资源浪费、手工扩展资源效率低下等问题。同时,在线服务还支持部署多种模型格式、支持服务流量分配与滚动更新,以支撑在线推理场景中的多元应用诉求。

模块特点

算力虚拟化:支持为服务分配小至0.1卡 GPU 算力,通过细粒度算力分配,让您随时随地享受高性价比服务体验。
自动弹性扩缩容:您可以选择手动或自动调整弹性实例扩展策略,模型部署会根据业务负载情况,动态实时自动管理实例数量,帮助您以最合适的实例数量应对业务情况,免去人工部署负担。
丰富的管理能力:提供丰富的多模型支持、多版本管理、流量分配、滚动更新等能力,支持服务及调用信息的多维度监控及事件查看,为您的各类业务保驾护航。

应用场景

支持用户将推荐、图像处理、自然语言处理、语音识别等各类机器学习场景的模型部署为在线服务。