开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >大模型推理的显存碎片化问题

问大模型推理的显存碎片化问题

提问于 2025-07-31 00:06:51

回答 0关注 0查看 7

当持续处理不同长度的输入序列时，除了固定BatchSize，架构上如何优化CUDA内存管理？

回答

和开发者交流更多问题细节吧，去写回答

相似问题

相关问答用户

请输入您想邀请的人