智算存储有什么应用场景？

大模型训练

大模型训练过程中涉及两个主要的数据读写场景。其一，把海量的训练样本并发的读取到 GPU 中进行训练， 其二，为保证训练中断时能快速恢复并进行继续训练，在训练过程中会周期性的保存 checkpoint ，并在意外发生时读取 checkpoint 进行恢复。智算存储 NitroFS 可作为大模型存储，为大规模训练提供高性能存储底座。

我们的优势

• 提供端到端的 RDMA 能力，且无网关转发。 数据可直通底层存储服务器，提供亚毫秒级的延迟和TB级的吞吐能力。
• 支持基于访问热度的智能冷热分层功能，降低用户的数据存储成本。

大模型推理 KVCache

大模型推理中，可将提示词和多轮对话的 token 所计算出的 K/V 向量保存至存储中。以存代算，降低 GPU 重复计算已出现 token 的 K/V 向量的开销，节省算力成本。智算存储 NitroFS 可作为 KVCache 存储，加速推理服务的效率，节省算力成本。

我们的优势

• 同时提供提供 POSIX 和 KV 接口，满足不同推理框架对 KVCache 存储需求，并提供 TB 级吞吐和亚毫秒级的存储性能。
• 源于腾讯自身 KVCache 存储方案的实践经验，可快速的赋能其他行业用户。

自动驾驶

自动驾驶涉及海量小样本的读取，需要存储有足够低的延迟和极强的元数据性能，并且会需要和对象存储的生态进行打通，满足不同流程的训练需求。智算存储 NitroFS 可作为自动驾驶存储，加速训练场景下，海量小文件的样本读取。

我们的能力

• 支持端到端 RDMA 能力，且数据读写时从客户端一跳直达存储节点，大幅降低访问时延，并提升访问效率。
• 支持与对象存储对接，透明接管对象存储。 并支持自动化的淘汰和预热策略。