
方案架构
将AI训练平台和并行存储一体机部署在本地数据中心,训练数据存储在腾讯公有云 COS 对象存储。在训练之前按需将数据缓存到本地的⾼性能并行存储系统集群中进⾏AI训练,训练结果按需保存在本地的高性能并行存储系统或云上对象存储COS中。
部署方案
本地数据中心,搭建并行存储系统集群及并行存储混合云管理平台,挂载腾讯云对象存储(Secret ID/Secret Key)到本地并行存储系统集群;
在本地并行存储系统按需创建文件预取列表
在AI训练前,在本地并存储执行预取数据命令,将所需数据按批次依次缓存到本地并行存储系统中。
AI训练平台在本地并行存储系统中读取计算所需数据,并将计算结果晖写到本地并行存储中。
方案优势
充分利用公有云对象存储随需弹性扩容的优势,按需购买容量,避免资源浪费。
通过并行存储系统混合云方案,按需缓存所需数据到本地,通过本地高性能并行存储系统集群充分满足AI训练计算时的高吞吐要求。
共享本地高性能并行存储资源,提高本地存储资源利用率,不需要购买大规模本地存储,节省成本。