同花顺申请基于键值缓存压缩的问答推理方法等专利，降低大语言模型因键值缓存数据增长带来的高算力消耗

国家知识产权局信息显示，浙江同花顺智能科技有限公司申请一项名为“基于键值缓存压缩的问答推理方法、装置、设备及介质”的专利，公开号CN120598057A，申请日期为2025年06月。

专利摘要显示，本申请公开了基于键值缓存压缩的问答推理方法、装置、设备及介质，涉及自然语言处理技术领域，包括：将当前问答任务中的提示词分割为词元序列并生成词元序列的初始键值缓存；基于目标大语言模型每注意力层的预设末端窗口大小将词元序列划分为各层对应的上下文词元和末端词元；根据上下文词元的键矩阵与末端词元的查询矩阵均值之间的重要性评分从上下文词元中筛选出每注意力层的关键词元；将初始键值缓存中除关键词元以外的词元的键值对剔除，以得到压缩后键值缓存；利用目标大语言模型生成与压缩后键值缓存对应的推理结果。降低大语言模型因键值缓存数据增长带来的高算力消耗并突破现有键值缓存压缩方法对完整注意力权重矩阵的依赖。

天眼查资料显示，浙江同花顺智能科技有限公司，成立于2017年，位于杭州市，是一家以从事互联网和相关服务为主的企业。企业注册资本30000万人民币。通过天眼查大数据分析，浙江同花顺智能科技有限公司共对外投资了1家企业，参与招投标项目489次，财产线索方面有商标信息6条，专利信息109条，此外企业还拥有行政许可7个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

来源：市场资讯