品高软件申请基于GPU虚拟化的大模型PD分离优化方法及系统专利，减少一半的算力资源占用

国家知识产权局信息显示，广州市品高软件股份有限公司申请一项名为“一种基于GPU虚拟化的大模型PD分离优化方法及系统”的专利，公开号CN120610820A，申请日期为2025年05月。

专利摘要显示，本发明公开了一种基于GPU虚拟化的大模型PD分离优化方法及系统。该方法包括步骤：S1：通过GPU虚拟化驱动器将物理GPU设备动态切割为两个虚拟GPU设备；S2：部署独立的Prefill程序和Decode程序于同一物理GPU设备上，通过所述共享显存区域实现KV Cache数据和模型参数权重的共享；S3：通过PD分离路由器将推理请求6按阶段分发至Prefill程序或Decode程序，其中Prefill程序将生成的KV键值写入共享显存，Decode程序从共享显存读取KV键值；S4：动态监测Prefill阶段和Decode阶段的请求压力，通过调整虚拟GPU设备的算力和显存分配比例实现资源再平衡，无需重启推理集群。

天眼查资料显示，广州市品高软件股份有限公司，成立于2003年，位于广州市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本11305.5275万人民币。通过天眼查大数据分析，广州市品高软件股份有限公司共对外投资了23家企业，参与招投标项目1453次，财产线索方面有商标信息46条，专利信息109条，此外企业还拥有行政许可21个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

来源：市场资讯