This paper introduces a new prompting strategy called Plan-and-Solve (PS) prompting to improve the performance of large language models (LLMs) in multi-step reasoning tasks. The authors propose two components of PS prompting: devising a plan to divide the task into smaller subtasks, and carrying out the subtasks according to the plan. They also extend PS prompting with more detailed instructions to address calculation errors and improve the quality of generated reasoning steps, resulting in PS+ prompting.
目标检测的目的是在给定的图像中分类和定位感兴趣的目标。由于与其他计算机视觉应用的紧密联系，它已经引起了社会各界的极大关注。在深度学习领域取得重大突破之前，已有许多传统的方法被提出来解决目标检测问题。这些方法建立在手工制作的特征表示上。不可避免地依赖于手工制作的特征限制了传统方法的性能。
A curated list of papers on Neural Symbolic and Probabilistic Logic. Papers are sorted by their uploaded dates in descending order. Each paper is with a description of a few words. Welcome to your contribution!
【导读】专知内容组整理了最近七篇视觉问答（Visual Question Answering）相关文章，为大家进行介绍，欢迎查看! 1. Differential Attention for Visual Question Answering（基于差别注意力机制的视觉问答） ---- ---- 作者：Badri Patro,Vinay P. Namboodir 摘要：In this paper we aim to answer questions based on images when provided
强化学习和概率推理算法旨在分别从互动体验和概率语境知识中学习推理。在本研究中，我们开发了机器人任务完成算法，同时研究了强化学习和概率推理技术的辅助优势。机器人从试错经验中学习，以增强其声明性知识库，增强知识可用于加快潜在多重任务的学习过程。我们已经实施并评估了使用移动机器人执行对话和导航任务的算法。从结果中，我们看到，通过运用人类知识推理和学习已完成任务的经验，可以提高机器人的性能。更有趣的是，机器人能够从导航任务中学习，以改善其对话策略。
PentestGPT是一款由ChatGPT驱动的强大渗透测试工具，该工具旨在实现渗透测试任务执行过程的自动化。该工具基于ChatGPT实现其功能，允许广大研究人员以交互式的方式使用，并指导渗透测试人员进行渗透测试任务的总体进度调控并执行指定操作。
近年来，常识知识(commonsense knowledge)越发成为NLP领域，乃至多模态，跨学科的研究热点。尽管以BERT为代表的的预训练语言模型已经在实体识别、机器翻译、情感分析等任务上取得了亮眼的表现，它们在面对一些人类可以使用常识轻易解决的问题时仍然表现不佳，面对对抗样本时也极为脆弱。似乎这些模型知识只是学到了一些浅层线索和语义，而与人类的知识体系并不相同。因此，将常识知识融入机器学习中就成为了一个充满前景的解决方案。不过，如何抽取常识知识，如何利用常识知识，乃至如何定义“常识本身”依然是有待研究的难题。 交大ADAPT实验室近年来正将研究兴趣专注于这一领域。在此过程中，我们也将自己的阅读加以筛选、归类和统计，整合成了一份论文列表，在GitHub上开源。
https://sites.google.com/site/narswang/home/agi-introduction/agi-education
【导读】专知内容组整理了最近七篇视觉问答（Visual Question Answering）相关文章，为大家进行介绍，欢迎查看! 1.VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions（VQA-E:解释、阐述并增强你对视觉问题的回答） 作者：Qing Li,Qingyi Tao,Shafiq Joty,Jianfei Cai,Jiebo Luo 机构：University of Science an
GNN的研究进入下半场, 大家不再简单的关注结构设计, 而是转向研究fundamental problem, 比如表示能力, 过平湖, 解释性, 彩票假设等等.
Unsupervised Visual Dynamics Simulation with Object-Centric Models
Computers have never been good at answering the type of verbal reasoning questions found in IQ tests. Now a deep learning machine unveiled in China is changing that. Just over 100 years ago, the German psychologist William Stern introduced the intelligenc
【导读】专知内容组整理了最近自动问答相关文章，为大家进行介绍，欢迎查看! 1. An Interpretable Reasoning Network for Multi-Relation Question Answering（基于可解释推理网络的多关系自动问答） ---- ---- 作者：Mantong Zhou,Minlie Huang,Xiaoyan Zhu 摘要：Multi-relation Question Answering is a challenging task, due to the re
【导读】专知内容组整理了最近六篇视觉问答（Visual Question Answering）相关文章，为大家进行介绍，欢迎查看! 1. Object-based reasoning in VQA（基于目标推理机制的VQA方法） ---- ---- 作者：Mikyas T. Desta,Larry Chen,Tomasz Kornuta 摘要：Visual Question Answering (VQA) is a novel problem domain where multi-modal inputs
Is Causal Reasoning Harder than Probabilistic Reasoning? Milan Mossé, Duligur Ibeling, Thomas Icard
理解因果互动是人类认知的核心，因此也是科学、工程、商业和法律的核心追求。发展心理学表明，儿童探索世界的方式与科学家相似，他们会问诸如“如果”这样的问题以及“为什么？”人工智能研究的目标是在机器中复制这些能力。特别是深度学习通过端到端可训练的深度神经网络，为函数逼近带来了强大的工具。这种能力已经被无数应用中的巨大成功所证实。然而，它们缺乏解释能力和推理能力，这被证明是建立类人能力系统的一个障碍。因此，在深度学习中启用因果推理能力对于研究通向人类智能的道路至关重要。神经因果模型的第一步已经存在，并有望实现人工智能系统的愿景，即像现代神经模型一样高效地进行因果推理。类似地，经典的符号方法正在被重新访问和重新整合到当前的系统中，以允许超越纯模式识别的推理能力。因果关系的Pearlian形式化揭示了一个理论上合理和实践上严格的推理层次，作为评估神经符号系统推理能力的有益基准。我们的目标是将对人工智能研究领域(一般机器和深度学习、符号和以对象为中心的方法以及逻辑)的整合感兴趣的研究人员聚集在一起，并以开发下一代人工智能系统为目标，对因果关系进行严格的形式化。
内容一览：2019 年转眼已经接近尾声，我们看到，这一年计算机视觉（CV）领域又诞生了大量出色的论文，提出了许多新颖的架构和方法，进一步提高了视觉系统的感知和生成能力。因此，我们精选了 2019 年十大 CV 研究论文，帮你了解该领域的最新趋势。
我们看到，近年来，计算机视觉（CV）系统已经逐渐成功地应用在医疗保健，安防、运输、零售、银行、农业等领域，也正在逐渐改变整个行业的面貌。
Recent work in neural abstract machines has proposed many useful techniques to learn sequences of applications of discrete but differentiable operators. These tech- niques allow us to model traditionally procedural problems using neural networks. In this work, we are interested in using neural networks to learn to perform logic reasoning. We propose a model that has access to differentiable operators which can be composed to perform reasoning. These differentiable reasoning operators were first introduced in TensorLog, a recently proposed probabilistic deductive database. Equipped with a model than can perform logic reasoning, we further investigate the task of inductive logic programming.
这次要介绍的，实际上是GitHub上一个star数非常多的库，但实际上他的类容就是一个prompt，如下：
《如何评价 DeepMind 新提出的关系网络（Relation Network）？》
推荐一波大佬整理的GNN4NLP论文大合集,总共100多篇,涵盖NLP的各种任务~
1 Are Deep Neural Networks SMARTer than Second Graders 2212.09993
导读：自然语言处理的发展进化带来了新的热潮与研究问题，研究者们在许多不同的任务中推动机器推理（Machine Reasoning）能力的提升。基于一系列领先的科研成果，微软亚洲研究院自然语言计算组将陆续推出一组文章，介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析和问答等任务上的最新方法和进展。
下面论文列表为本小组同学推荐和整理，关于论文细节请联系论文作者。内容涵盖以下研究方向：对抗生成网络、知识图谱补全、推荐系统、文本生成、元学习。
大数据文摘授权转载自AI前线 整理：核子可乐、冬梅 可解释性，已经成为当今机器学习研究与开发领域最紧迫的难题之一。尽管目前的大规模语言模型（LM）已经展现出令人印象深刻的问答能力，但其固有的不透明性却导致人们无法理解模型如何得出最终答案，因此用户难以论证答案合理性、也不易发现答案中的潜在错误。 DeepMind 研究团队在最新论文《使用大型语言模型实现可信推理》（Faithful Reasoning Using Large Language Models）中解决了这个问题。论文提出一套前向链选择推理模型，能
每天给你送来NLP技术干货！ ---- © 作者｜王晓磊 机构｜中国人民大学高瓴人工智能学院 研究方向 | 对话式信息获取 来自 | RUC AI Box 本文从NeurlPS 2022 的2000多篇接收论文中筛选出了与自然语言处理相关的论文200多篇，并按照研究主题进行分类整理，以供参考。 导读： NeurIPS 2022 是 CCF A 类会议，人工智能领域方向的顶级国际会议之一。第36届神经信息处理系统会议将于今年 11 月 28 日至 12 月 9 日举行。官方发布的接收论文列
ChatGPT 大火之后，在 2023 年 2 月 24 日，LLaMA 的出现让 instruction tuning 这个方向变得火热；3 月 18 日，Alpaca 让大家看到从成熟的模型 distill 小模型成为还不错的 ChatBot 的可能性，从而引发羊驼系模型寒武纪大爆发。但仅仅过去三个月，大家开始发现意识到用 ChatGPT 的数据训练 LLaMA 的各种问题。本文回顾在过去三个月内的 LLaMA 系模型的发展，讨论 Instruction Tuning 的下一步挑战。
编者按：自然语言处理的发展进化带来了新的热潮与研究问题，研究者们在许多不同的任务中推动机器推理（Machine Reasoning）能力的提升。基于一系列领先的科研成果，微软亚洲研究院自然语言计算组将陆续推出一组文章，介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析和问答等任务上的最新方法和进展。
登录非root用户，报错如下： [root@test ~]# su - app su: 无法设置用户ID: 资源暂时不可用 或者用ssh 命令连接服务器之后，如果一段时间不操作，再次进入 Terminal 时会有一段时间没有响应，然后就出现错误提示： Write failed: Broken pipe 解决办法： [root@test ~]# vim /etc/security/limits.d/90-nproc.conf # Default limit for number of user's proce
当前，一些前沿AI研究人员正在寻找用于表示上下文特定的因果依赖关系清晰的语义模型，这是因果归纳所必需的，在 DeepMind的算法中可看到这种概率树模型。
本周话题 过去两周，Google旗下的DeepMind颇为引人瞩目，开发出了适用于关系推理的人工神经网络，从而让机器具备推理、理解不同物体之间错综复杂关系的能力。 如果机器能像人一样思考，那么将是AI领域一个显著的进步，进而缩小人和机器在思考方面的差距。 那么对于DeepMind 新提出的关系网络(Relation Network)，你是怎么看的呢？ 以下内容来源于知乎上大牛对于该问题的回答 知乎用户：周博磊 (https://www.zhihu.com/people/zhou-bo-lei/answe
https://github.com/shaoxiongji/awesome-knowledge-graph
Prefrontal cortex as a meta-reinforcement learning system
从规则方法、统计方法到目前的深度学习方法，自然语言处理（NLP）研究一直处于不断发展和进化的状态之中，并在过去五年取得了令人瞩目的成果。对于一个拥有充分标注语料的 NLP 任务（例如机器翻译和自动问答），现有的深度学习方法能够很好地对输入和输出之间的关系进行建模，并在分布相同或类似的测试数据上取得令人满意的效果。然而，一旦测试数据所涉及的知识和领域超出训练数据的范畴之外，大多数模型的效果都会一落千丈。这一现象其实不难理解：人类在从小到大的成长过程中，已经通过各式各样的学习过程掌握了大量的通用知识（例如数学知识、物理知识、世界知识、常识知识等）。这些知识能够帮助人类在学习新技能或遇到新问题时进行推理并举一反三。然而，绝大多数 NLP 模型都不具备这样的知识模型，因此就不能很好地理解和解决新的问题。
作者：Renqian Luo, Liai Sun, Yingce Xia, Tao Qin, Sheng Zhang, Hoifung Poon, Tie-Yan Liu
Facebook人工智能实验室主任、深度学习专家Yann LeCun在日前的CVPR 2015上做题为《What's Wrong With Deep Learning?》的报告，大谈深度学习的局限性，
在当今的法律体系中，法律条文的制定往往跟不上时代前进的脚步，落后的条文（或者判例）有时反而会成为新生事物的制约；部分领域的法律条文或者判例卷帙浩繁，即使是专业的法律人也得耗费数年的学习和实践才能慢慢掌握法条的场景和使用；而即便是这么多的法律条文也难以将现实发生的所有复杂情况一一枚举，因此根据案件的实际情况参考哪些法条和如何定罪与量刑是法官、律师、陪审团等法律程序参与者的任务。这种人工干预有巨大操作和斡旋空间，也就出现了各种州级法院和联邦法院判断不一致的情况—— 明明案件内容是明确的，法律条文是明确的，然而判断却是不清晰的。
the mapping problem, mutual exclusivity, inductive bias, word single object, fast mapping, word, object, observation, cross-situational word learning, sorting, reasoning, word object, co-occurrence statistics, word referent mapping, intension model, cross-situational information, human simulation paradigm, propose-but-verify, hypothetical mapping, intentional reasoning
由于ChatGPT API 4的价格是3.5版本的20倍左右，所以将免费提问的额度进行了调整。为了方便体验，每个公众号粉丝已分发至少3次提问机会。
Pair of Numbers Q: Why name inductive? A: Inductive means building things bottom-up, it doesn’t have
提示工程是一门新兴学科，就像是为大语言模型（LLM）设计的"语言游戏"。通过这个"游戏"，我们可以更有效地引导 LLM 来处理问题。只有熟悉了这个游戏的规则，我们才能更清楚地认识到 LLM 的能力和局限。
当前，大型语言模型 (Large Language Model, LLM) 大多强调以自然语言 (Natural Language, NL)为媒介进行交互、推理以及反馈修正。然而，LLM对符号语言的处理能力如何？如何增强LLM的符号交互能力？ Symbol-LLM这项目工作给出了答案，并开源了涵盖超20种符号类型的训练数据集，以及统一符号的开源基座大模型 (7B/13B)
前言 在我们的上一篇文章最前沿：百家争鸣的Meta Learning/Learning to learn （点击「阅读原文」获取此文）中，我们谈到了星际2 需要AI具备极好的逻辑推理能力才行，那么实际上逻辑推理这个问题学术界一直有研究，但是进展缓慢。吴恩达Andrew Ng也说过当前的深度学习技术比较适合那些对人来说可以快速解答的问题，比如说图像识别，我们不用怎么思考，语音识别，我们也不用怎么思考。但是吴恩达这么说也不完全对，比如说AlphaGo。 AlphaGo有逻辑，会推理，能思考吗？ 我们都知道人类下
来源：专知本文为论文介绍，建议阅读5分钟本文提出了一种知识增强的推理模型(knowledge Enhanced Reasoning Model, KERM)来利用知识来提高智能体的导航能力。 视觉-语言导航(VLN)是使具身智能体在真实场景中按照自然语言指令导航到远程位置的任务。以往的方法大多利用整个特征或以对象为中心的特征来表示可导航的候选特征。然而，这些表示不足以使智能体执行动作以到达目标位置。由于知识提供了与可见内容相补充的重要信息，本文提出了一种知识增强的推理模型(knowledge Enhanc
作者 | Flood Sung 来源 | 知乎 前言 在我们的上一篇文章最前沿：百家争鸣的Meta Learning/Learning to learn （点击「阅读原文」获取此文）中，我们谈到了星际2 需要AI具备极好的逻辑推理能力才行，那么实际上逻辑推理这个问题学术界一直有研究，但是进展缓慢。吴恩达Andrew Ng也说过当前的深度学习技术比较适合那些对人来说可以快速解答的问题，比如说图像识别，我们不用怎么思考，语音识别，我们也不用怎么思考。但是吴恩达这么说也不完全对，比如说AlphaGo。 Alph
*本文原为英文写作，中文翻译由 ChatGPT 完成，原貌呈现，少数歧义处标注更正（红色黄色部分）。英文原稿见附录。笔者发现 ChatGPT 翻译不妥处，往往是本人才疏英文原稿表达不够流畅，感兴趣的读者请对照阅读。
http://www.tensorinfinity.com/paper_157.html
【新智元导读】7月4日，Yoshua Bengio参加 Idiap 举办的深度学习研讨会，发表题为《Representations中的深度监督学习》的演讲。他首先介绍了最近深度学习取得的成就，回溯该领域近年来取得的突破。随后，他详细地介绍了深度学习中的核心技术——反向传播，解读反向传播在循环递归网络和流程图中的工作原理。Bengio认为，在机器学习模型中加入组合性是通往人工智能未来、打破“维度魔咒”的一个关键。最近，深度学习有3大进展：Attention，Reasoning、Planning和增强学习，另外
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
