谷歌发布Infini-Transformer模型—无限注意力机制长度，超越极限

文章来源：企鹅号 - 人工智能研究所

Infini-Transformer模型—无限注意力机制长度

论文介绍了一种高效的方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长的输入，同时保持有限的内存和计算量。论文提出的方法中的关键组件是一种称为 Infini-attention 的新型注意力机制。Infini-attention 将压缩内存整合到 vanilla 注意力机制中，并在单个 Transformer 块中构建了掩码局部注意力和长期线性注意力机制。在长上下文语言建模基准测试、100 万序列长度的密钥上下文块检索和 50 万长度的书籍摘要任务中，使用 10 亿和 80 亿参数的 LLM 证明了此方法的有效性。此方法引入了最小的有限内存参数，并为 LLM 实现了快速的流式推理。