蚂蚁、上海交大技术成果GMLake入选国际顶会，最高扩大约33%GPU可用显存

钛媒体App 1月16日消息，近日，蚂蚁集团和上海交通大学合作的技术成果GMLake被计算机顶会ASPLOS 24接收。据悉，在这篇名为《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果中，蚂蚁集团和上海交通大学提出了一种高效的动态显存组合技术框架，称为GMLake。该框架采用虚拟、物理两层指针，将碎片化的显存灵活地拼接起来，从而实现了聚零为整。GMLake对典型大模型如GPT、GLM、Vicuna等进行了详细评测，最高扩大了约33%的可用显存，即在80GB的A100 GPU上节省约25GB的显存，训练吞吐提高最多4倍。该框架使显存使用更为高效，有望缓解“内存墙”问题。