首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | InterrogateLLM: 大模型幻觉检测框架

摘要:尽管大语言模型(LLMs)取得了许多进步,并以前所未有的速度迅速发展,但由于种种原因,它们对我们日常生活方方面面的影响和整合仍然有限。阻碍其广泛应用的一个关键因素是幻觉的出现,在幻觉中,大型语言模型编造出听起来逼真的答案,但却与事实真相相去甚远。在本文中,我们提出了一种在大型语言模型中检测幻觉的新方法InterrogateLLM,它解决了在各种真实世界场景中采用这些模型的关键问题。通过对包括 Llama-2 在内的多个数据集和 LLM 的广泛评估,我们研究了近期各种 LLM 的幻觉水平,并证明了我们的方法在自动检测幻觉方面的有效性。值得注意的是,在一个特定实验中,我们观察到 Llama-2 的幻觉率高达 62%,我们的方法达到了 87% 的平衡准确率 (B-ACC),而这一切都无需依赖外部知识。

01
领券