高性能对象存储解决方案

方案架构

将AI训练平台和并行存储一体机部署在本地数据中心，训练数据存储在腾讯公有云 COS 对象存储。在训练之前按需将数据缓存到本地的⾼性能并行存储系统集群中进⾏AI训练，训练结果按需保存在本地的高性能并行存储系统或云上对象存储COS中。

部署方案

本地数据中心，搭建并行存储系统集群及并行存储混合云管理平台，挂载腾讯云对象存储（Secret ID/Secret Key）到本地并行存储系统集群；

在本地并行存储系统按需创建文件预取列表

在AI训练前，在本地并存储执行预取数据命令，将所需数据按批次依次缓存到本地并行存储系统中。

AI训练平台在本地并行存储系统中读取计算所需数据，并将计算结果晖写到本地并行存储中。

方案优势

充分利用公有云对象存储随需弹性扩容的优势，按需购买容量，避免资源浪费。

通过并行存储系统混合云方案，按需缓存所需数据到本地，通过本地高性能并行存储系统集群充分满足AI训练计算时的高吞吐要求。

共享本地高性能并行存储资源，提高本地存储资源利用率，不需要购买大规模本地存储，节省成本。

方案架构

客户应用、并行存储一体机部署在本地数据中心，客户数据统一存储在腾讯公有云 COS 对象存储中。通过并行存储混合云方案，平台根据数据的使用频率自动将常用数据缓存到本地部署的并行存储集群中。客户在使用数据的时候，如果缓存命中，则直接访问本地并行存储系统中的缓存数据；如缓存未命中，则并行存储混合云平台将数据从云端拉到本地存储中提供给应用访问。

部署方案

本地数据中心，搭建并行存储系统集群及并行存储混合云管理平台，挂载腾讯云对象存储（Secret ID/Secret Key）到本地并行存储系统集群；

将本地并行存储系统中相应的数据集挂载到本地的应用服务器按需创建文件预取列表

本地并存储混合云平台自动发现和计算数据的使用频率，动态缓存云端的高频数据。

本地应用通过部署在本地的高速并行存储系统读取、使用云端数据。

方案优势

充分利用公有云对象存储随需弹性扩容的优势，按需购买容量，避免资源浪费。

提升本地应用访问云端对象存储数据的速度，实现云端存储数据访问的本地存储式体验。

减少应用对云端数据的直接访问次数，节省广域网带宽，降低云端存储下载流量，降低使用成本。

对应用透明，应用不需要进行改造。

方案架构

HPC集群、并行存储一体机部署在本地数据中心，数据存储在本地或腾讯公有云 COS 对象存储。若不在本地，在HPC运算之前按需将数据预取到本地的⾼性能并行存储系统集群中，然后进⾏HPC运算，结果仍然保存回本地的高性能并行存储系统集群并⾃动异步推送回腾讯云COS

部署方案

本地数据中心，搭建并行存储系统，挂载腾讯云对象存储（Secret ID/Secret Key）到本地并行存储系统集群；

在本地并行存储系统按需创建文件预取列表；

在HPC计算前，在本地执行预取数据命令，将所需数据缓存到本地并行存储系统中；

HPC在本地并行存储系统中读取计算所需数据，并将计算结果回写到本地并行存储中；

本地并行存储将HPC计算结果异步同步到腾讯云COS对象存储。

方案优势

充分利用公有云对象存储随需弹性扩容的优势，按需购买容量，避免资源浪费。

通过并行存储混合云方案，按需预取所需数据到本地，通过本地高性能并行存储集群充分满足HPC计算时的高吞吐、低延时的要求。

共享本地高性能并行存储资源，提高本地存储资源利用率，不需要购买大规模本地存储，节省成本。

方案架构

文件/对象存储系统、并行存储一体机部署在企业数据中心里。通过并行存储混合云方案，建立统一命名空间，实现跨企业私有云存储和腾讯公有云COS对象存储的文件/对象数据统一分层管理，通过动态智能数据缓存实现跨数据中心级跨公有云/私有云的数据访问加速。

部署方案

企业数据中心，部署并行存储一体机。挂载数据中心文件/对象存储到本地的并行存储。挂载腾讯云COS对象存储到需要的企业数据中心的并行存储。企业数据中心和腾讯云COS对象存储通过并行存储建立统一命名空间，形成统一数据视图。

方案优势

通过建立统一命名空间，实现企业级的跨私有云/公有云存储的数据的统一视图。实现统一的容量管理，简化存储扩容复杂度。

提升应用跨数据中心及跨公有云/私有云访问数据的速度，实现跨数据中心及及云端数据访问的本地存储式体验。

高效地使用不同类型的存储，在满足不同业务需求的前提下，实现存储的最优化配置，降低存储成本。

通过自动的分层存储，实现数据的按需存储，提升应用对数据的访问效率。

减少广域网访问流量，降低广域网带宽成本。

对应用透明，应用不需要进行改造。