专治AI大模型对错误答案“过于自信”，麻省理工学院提出校准方法

IT之家 7 月 31 日消息，人们正在越来越多地使用大模型完成各种任务，不论是翻译、总结文章还是识别金融诈骗，大模型都是“无所不包”。尽管这些模型都具有“惊人”能力，但它们偶尔也会生成错误答案，并对错误答案过于自信、对正确答案信心不足，使用户对大模型是否值得信任表示怀疑。

据 MIT NEWS 今日报道，麻省理工学院（MIT）和 MIT-IBM Watson AI Lab 的研究人员提出了一种专为大型语言模型量身定制的校准方法。他们的方法被称为“温度计”，其原理是在大语言模型之上构建一个较小的辅助模型来对其进行校准。

图源 Pexels

据悉，这种被叫作“温度计”的方法所需的计算能力更少，但同时又能保持模型的准确性，并使其能够在未曾遇到过的任务中做出更好的校准响应。

通过针对各种任务对大语言模型进行高效校准，“温度计”可以帮助用户找出模型对错误预测过于自信的情况，最终防止用户在可能失败的情况下部署该模型。

有关论文的第一作者、麻省理工学院电子工程和计算机科学研究生沈茂豪（IT之家注：音译）表示，“我们希望向用户提供一个明确的信号，告诉他们模型的回应是准确还是不准确，以反映模型的不确定性，让他们知道模型是否可靠。”

借助“温度计”，研究人员开发出了一种多功能技术，利用一种被称为“温度缩放”的经典校准方法，为新任务有效地校准大语言模型。在此背景下，“温度”是一个缩放参数，用于调整模型的“信心”以与其预测准确性一致。

研究人员训练了一个辅助模型，该模型在大型语言模型之上运行，自动预测校准新任务所需的“温度”。“温度计”只需要访问大型语言模型内部的一个小部分，就能预测出特定任务数据点的正确“温度”，以校准其预测。

该团队希望未来使“温度计”支持更复杂的文本生成任务，并将该技术应用于更大的大型语言模型。

参考