蚂蚁开源大模型技术 Lookahead，将推理加速 2-6 倍
据站长之家 1 月 18 日报道，蚂蚁开源大模型技术 Lookahead。Lookahead 是一个推理加速框架，可以大幅提升大模型的推理效率，可将推理加速 2-6 倍。通过采用多分支策略，Lookahead 能够在一次前向过程中生成更多的 Token，进一步压榨硬件性能。
- 发表于:
- 原文链接：https://page.om.qq.com/page/OAWEEadq1x0InncXp7TW99uQ0
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
腾讯云开发者
