• AI开发门槛高 :市场亟需机器学习平台产品化,提高模型生产效率
• 资源利用率低:模型推理过程中GPU利用率低
某生活方式平台, 月活跃用户过亿,需要规模庞大的推荐系统,同时要支持超大规模并发。
某销售科技领域的企业服务公司,旗下智能合规质检业务,主要通过语音识别和NLP模型来完成。在腾讯云上利用GPU虚拟化技术, 实现了单张GPU同时加载多个模型,提高了GPU资源利用率,同时保证不同模型之间进行了安全有效的隔离,GPU资源利用率提升了30%。
某AI领域头部公司的OCR业务,在线推理的GPU利用率低于40%,很难将推理和训练混布到一张GPU卡上。在腾讯云上通过TKE、COS、qGPU等产品组合使用,运维成本得到大幅节省,资源利用率提升100%。