蓝耘科技申请大语言模型多用户高并发高吞吐推理方法及系统专利，响应速度极快

国家知识产权局信息显示，蓝耘科技集团股份有限公司申请一项名为“大语言模型多用户高并发高吞吐推理方法及系统”的专利，公开号 CN 120598065 A，申请日期为 2025 年 08 月。

专利摘要显示，本发明涉及大模型调度技术领域，具体公开了一种大语言模型多用户高并发高吞吐推理方法及系统，所述方法包括对每一采集时段内的所有用户信息进行识别，提取并统计字词，得到字词库；根据所述字词库确定宏观限制边界；以每个用户为索引，统计用户信息对应的字词，得到每个用户的字词变化信息，根据所述字词变化信息在宏观限制边界中确定微观限制边界；对任一用户，根据微观限制边界蒸馏得到子模型，基于所述子模型构建交互信道；本发明为每个用户蒸馏出单独的子模型，用于完成其大部分交互需求，响应速度极快，并且蒸馏出的子模型一般是本地模型，不占用大模型的实时资源，优化了任务处理架构。

天眼查资料显示，蓝耘科技集团股份有限公司，成立于2004年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本9232.7874万人民币。通过天眼查大数据分析，蓝耘科技集团股份有限公司共对外投资了24家企业，参与招投标项目285次，财产线索方面有商标信息17条，专利信息31条，此外企业还拥有行政许可3个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

来源：市场资讯