据站长之家 1 月 18 日报道,蚂蚁开源大模型技术 Lookahead。Lookahead 是一个推理加速框架,可以大幅提升大模型的推理效率,可将推理加速 2-6 倍。通过采用多分支策略,Lookahead 能够在一次前向过程中生成更多的 Token,进一步压榨硬件性能。
分享快讯到朋友圈
领取专属 10元无门槛券
私享最新 技术干货