斯坦福大学研究人员提出 EVAPORATE 原型系统，可将语言模型的推理成本降低 110 倍

据 MarkTechPost 报道，在最近发布的一篇研究论文中，斯坦福大学和康奈尔大学的研究者提出了一种方法以应对大型语言模型极高的训练成本。该团队举例说，在维基百科 5,500 万个页面上运行推理的成本超过 10 万美元，相当于每 1,000 个词组的价格超过 0.002 美元。与直接对每个文档进行推理相比，这些研究者提出的方法可以将推理成本降低 110 倍，同时还能提高推理结果的质量。

据悉，该原型系统称为 EVAPORATE，由 LLMs 提供动力，并确定了两种不同的系统实施策略。第一种策略是提示 LLM 直接从文档中提取值。第二种策略是促使 LLM 合成执行提取的代码。研究小组对这两种方法进行了评估，发现它们之间存在成本与质量的权衡。虽然代码合成的成本更低，但其准确性也不如直接用 LLM 处理每个文档。为了提高质量并保持低成本，该团队还提出名为 EVAPORATE-CODE+ 的扩展代码合成实现方法。