文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

谷歌：LLM找不到推理错误，但能纠正它

机器之心报道 编辑：Panda LLM 找不到推理错误，但却能纠正错误！ 今年，大型语言模型（LLM）成为 AI 领域关注的焦点。...最近，剑桥大学和 Google Research 联合开展的一项研究发现：LLM 找不到推理错误，但却能使用该研究提出的回溯（backtracking）方法纠正错误。...language models cannot self-correct reasoning yet》中指出：自我校正或许是能有效地提升模型输出的风格和质量，但鲜有证据表明 LLM 有能力在没有外部反馈的情况下识别和纠正自身的推理和逻辑错误...比如 Reflexion 和 RCI 都使用了基本真值的纠正结果作为停止自我校正循环的信号。...结果发现，当前 SOTA LLM 也难以发现错误，即便是客观的明确的错误。他们猜测：LLM 无法发现错误是 LLM 无法自我校正推理错误的主要原因，但这方面还有待进一步研究。

97310
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    建模答题赛第2赛季第10轮（纠正某些书上的建模错误）

    摘自 Python Projects，Laura Cassell，John Wiley & Sons，2015 要求指出 （1）错误 （2）所用参考知识在《软件方法（上）》第2版中的页码。...仅指出错误没有给出页码不得分。 回答格式请参照这个链接： [竞赛题解析]Karl Wiegers的Software Requirements示例挑错 请在本帖下留言回答。...规则： （1）每指出确实存在的一个错误，就获得1分；如果指出的错误不存在，则扣除0.4分。 （2）不同的人指出相同的错误，该错误的得分者归属回答时间最早而且本题结算后为正分的人。...举例：张三先指出A、B、C、D共4个错误，其中只有A是恰当的。李四紧随其后面指出了A。由于张三结算为1-0.4×3=-0.2，所以A的分数归属李四。

    49820

    拼写、常识、语法、推理错误都能纠正，云从提出基于BART的语义纠错方法

    机器之心发布 机器之心编辑部 云从科技语音组提出了一种基于 BART 预训练模型的语义纠错技术方案，它不仅可以对 ASR 数据中常见的拼写错误进行纠正，还可以对一些常识错误、语法错误，甚至一些需要推理的错误进行纠正...但是，在 ASR 转写结果中，仍然存在一些对人类来说非常明显的错误。我们并不需要听音频，仅通过观察转写的文本便可发现。对这类错误的纠正往往需要借助一些常识和语法知识，甚至推理的能力。...这里，云从科技语音组提出了一种基于 BART 预训练模型 [1] 的语义纠错（SC）技术方案，它不仅可以对 ASR 数据中常见的拼写错误进行纠正，还可以对一些常识错误、语法错误，甚至一些需要推理的错误进行纠正...5，误差分析 在对 300 条纠正失败的例子进行误差分析时，我们发现语义纠错实际效果要比 CER 指标评估的明显要好，有约 40% 的错误几乎不影响语义，比如，一些音译的外国人名或者地名有多种表达方式，...另外有 30% 的错误因为上下文信息不足，不适合基于纯文本特征的模型做纠正。剩下有 30% 的错误为语义纠错模型的语义理解或表达能力不足所致。 ?

    1.4K40

    KDD21 | 如何纠正推荐系统中的流行度偏差

    该文章指出，流行度偏差存在于因果图中物品节点对排名分数的直接影响之中，也就是说物品的内在属性是错误地赋予某些物品过高排名分数的原因。...文章认为为了纠正这种偏差，有必要考虑一个反事实的问题，即如果推荐模型只输入物品相关信息，那么它的排名分数将是多少。...（2）加入无偏数据：通过从额外的无偏数据中学习来纠正流行度偏差。（3）分解嵌入表示：将兴趣和流行度分解为两套嵌入模型，并调整使得模型学习到更鲁棒的模式。...这些方法能起到一定的去偏效果，但也有一定的局限性，这些方法缺乏对物品流行度如何影响每个特定交互的细粒度考虑，也缺乏对流行度偏差机制的系统理解。...文章认为，消除流行度偏差的关键是了解物品流行如何影响每次交互，而不是盲目地将增加长尾物品的权重。 三、方法介绍 方法介绍共分为三部分：因果图的建立、建模因果效应、消除流行度影响。

    3K10

    KDD21 | 如何纠正推荐系统中的流行度偏差

    该文章指出，流行度偏差存在于因果图中物品节点对排名分数的直接影响之中，也就是说物品的内在属性是错误地赋予某些物品过高排名分数的原因。...文章认为为了纠正这种偏差，有必要考虑一个反事实的问题，即如果推荐模型只输入物品相关信息，那么它的排名分数将是多少。...（2）加入无偏数据：通过从额外的无偏数据中学习来纠正流行度偏差。（3）分解嵌入表示：将兴趣和流行度分解为两套嵌入模型，并调整使得模型学习到更鲁棒的模式。...这些方法能起到一定的去偏效果，但也有一定的局限性，这些方法缺乏对物品流行度如何影响每个特定交互的细粒度考虑，也缺乏对流行度偏差机制的系统理解。...文章认为，消除流行度偏差的关键是了解物品流行如何影响每次交互，而不是盲目地将增加长尾物品的权重。 三、方法介绍 方法介绍共分为三部分：因果图的建立、建模因果效应、消除流行度影响。

    2.4K41

    装上这个开源库，1毫秒纠正语法错误

    只要装上一个专门纠正语法错误的库就可以，还是毫秒钟就可揪出来的那种。...这就是最近一位AI专业本科生Benjamin Minixhofer，利用假期时间开发出来的一款快速纠正语法错误的库NLPRule。 ?...如何实现？ NLPRule是将语法规则与ML模型结合起来，主要应用于NLP的预处理和NLG的后处理。 在作者看来，使用基于语法规则的方法有两大优势。 一是速度。...作者使用第8代英特尔，纠正一个句子只需要不到1毫秒的时间。 二是语法错误的训练数据极度稀少，ML模型无法处理。...除非特别说明，ML模型基本上不能纠正这个错误，因为它几乎不会出现在其训练数据当中。 而若是放在其他语言数据中，肯定会比英语更少。 比如，中文。 ?

    1.8K20

    Sentieon 项目文章 | 社区努力识别和纠正蛋白质基因组研究中标签错误的样本

    这些错误不仅会浪费昂贵的实验资源，更可能导致研究结论的错误，影响后续的临床决策。以下的文章，主要为大家介绍一个样本错误标记自动检测与纠正工具COSMO，以及它在多组学研究中的应用价值。...为解决这一问题，precisionFDA和NCI-CPTAC发起了"多组学样本错误标记纠正挑战赛"，旨在开发自动化工具来检测和纠正蛋白质基因组数据集中的错误标记。...通过整合莱特州立大学和Sentieon公司的方法，检测和纠正错误的准确性得到进一步提升。...即使在错误率为3.5%的CPTAC肾癌数据集中，纠正后也观察到了62%基因的相关性提升。...也凸显了样本错误标记纠正对提高组学研究准确性的重要性。

    21210

    ​Go的错误处理：如何优雅地处理错误

    我们知道Go语言处理错误的方式与其他许多主流语言有所不同。Go强调明确处理错误，而不是使用像其他语言中的异常处理机制。...创建和返回错误 您可以使用errors包中的New函数创建一个简单的错误，该函数接受一个字符串作为参数，返回一个新的错误。...处理错误 在Go中，错误被视为值，通常作为函数的最后一个返回值返回。如果函数执行成功，错误返回值将为nil，否则它将包含一个错误。...，os.Open将返回一个非nil的错误，我们可以检查这个错误并据此做出相应的处理。...自定义错误 有时，我们可能希望提供更多的上下文或错误信息。为此，我们可以创建自定义错误类型。

    1.4K30

    Go通关07：错误处理，如何通过errorpanic处理错误？

    您诸位好啊，我是无尘，今天聊聊Go语言的错误处理。 错误 在Go语言中，错误并不是非常严重，它是可以预期的，可以返回错误给调用者自行处理。...error 接口 在Go语言中，错误是通过内置的error接口来表示的，它只有一个Error方法来返回错误信息： type error interface { Error() string } 这里演示一个错误的示例...= nil { fmt.Println(err) } else { fmt.Println(i) } } 示例故意使用错误的字符串“a”来转为整数，所以这里会打印错误信息...：strconv.Atoi: parsing "a": invalid syntax 一般，error接口在当函数或方法调用时遇到错误时进行返回，且为第二个返回值，这样调用者就可以根据错误来自行处理。...error 断言 通过error断言来获取返回的错误信息，断言可以将error接口转为自己定义的错误类型： res, err := test(2,1) if e,ok := err.

    1K20

    如何优雅做系统错误提示？

    所以，一个好的错误提示特别重要。它不但能让使用者明白当前到底发生了什么，甚至还能引导如何解决异常。达到这个程度的话自然可以大大提高系统的使用效率，也能间接降低己方商务人员或者产品经理的培训成本。...因此，作为程序员群体的一份子，在这里我想呼吁大家认真对待错误提示，特别是那些不是给“人”看的错误提示…… 作为软件的创造者，我们虽然无法避免出现异常、出现bug，但是我们可以做到避免无意义的错误提示产生...作为用户该如何处理？一概不知。 另外，还有一种常见的情况是，错误提示含有太多的技术术语，使用者根本不明白啥意思，也不关心这些。比如， 远程服务响应超时。 事务执行失败，XX保存失败。...所以，哪怕你将问题的原因表达的很清楚，但是他还是不知道该如何解决，只能寻求产品经理或者开发人员的协助。 比如，电商平台的客服在后台替用户修改订单收货地址的时候，发现某个地区下没有可用快递可选。...当然，比给出合理的错误提示更好的是，避免出现错误。所以你还可以更进一步，提前规避掉一些错误。 比如， 为了避免日期选择超过有效范围，可以对有效范围外的日期设置为禁用状态。

    2.2K10
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券