首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

微软研究团队提出 LLM 加速器 LLMA

金色财经报道,微软的一组研究人员提出 LLM 加速器 LLMA。据悉。这种带有参考文献的推理解码技术可以在许多现实世界的环境中,通过利用 LLM 的输出和参考文献之间的重叠来加快 LLM 的推理速度。LLMA 的运作方式是从参考文献中选择一个文本跨度,将其标记复制到 LLM 解码器中,然后根据输出的标记概率进行有效的并行检查。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230420A00FMF00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券