导读：飞桨（PaddlePaddle）致力于让深度学习技术的创新与应用更简单。在重要的机器阅读领域，基于DuReader数据集，飞桨升级并开源了一个经典的阅读理解模型 —— BiDAF，相较于DuReader原始论文中的基线，在效果上有了大幅提升，验证集上的ROUGE-L指标由原来的39.29提升至47.68，测试集上的ROUGE-L指标由原来的45.90提升至54.66。
当前学界和工业界都对多模态大模型研究热情高涨。去年，谷歌的 Deepmind 发布了多模态视觉语言模型 Flamingo ，它使用单一视觉语言模型处理多项任务，在多模态大模型领域保持较高热度。Flamingo 具备强大的多模态上下文少样本学习能力。
大型语言模型（LLMs）具有出色的能力，但由于完全依赖其内部的参数化知识，它们经常产生包含事实错误的回答，尤其在长尾知识中。
作者：Pramod Kaushik Mudrakarta等 机器之心编译 参与：李诗萌、刘晓坤 来自芝加哥大学和谷歌的研究者通过归因方法分析了三种深度学习问答模型的内在过程，包括了对图像、图表和文本段落的问答。结果表明这些深度网络常常会忽略问题中重要的词，导致错误归因（把无关词当成决定答案的重要线索），从而可以轻易地构造对抗样本实现攻击。例如，最强的攻击可以将图像问答模型的准确率从 61.1% 降低到 19%，将图表问答模型的准确率从 33.5% 降低到 3.3%。 引言 近期，各种问答任务都应用了深度学
本次文章主要介绍了ERNIE-GEN(语言生成任务)、统一预训练语言模型(UniLM)、问答系统数据集(CoQA)、端到端神经生成问答(GENQA)、生成式问答系统评估方法、自编码自回归语言模型(PALM)、答案生成器(KEAG)、生成式问答(gQA)。（四篇含源码）
近年来，随着问答技术和多模态理解技术的蓬勃发展，视觉问答任务（Visual Question Answering）变得越来越受关注。诸如 VQA、CLEVER、Visual-7W 等大规模视觉问答数据集陆续发布，极大地推动了视觉问答任务的迭代发展。然而，当前大部分视觉问答数据都是人工合成问题，如 “她的眼睛是什么颜色” 这种标注者在看到图片后虚构设计出的。人工产生的数据会相对简单、低质甚至有偏。因此，在这项工作中，我们基于 QQ 浏览器中用户真实的问题，提出了一个基于中文的大规模图片问答数据集：ChiQA。
首个打通从多模态输入到多模态输出的「全能高手」，统一多模态预训练模型Emu开源，来自智源研究院「悟道·视界」研究团队。
本文介绍的是 ACL 2020 论文《Dice Loss for Data-imbalanced NLP Tasks》，论文作者来自香侬科技、浙江大学。
今天带来的这篇文章，详细的讲解了 BERT 以及和其他模型之间的区别。由深思考人工智能（iDeepWise Artificial Intelligence）投稿。
本综述调查了大语言模型（LLM）在金融领域的应用，重点关注现有解决方案。我们回顾了利用预训练模型、微调特定领域数据以及从头开始训练定制LLM的方法，为金融专业人士根据数据、计算和性能需求选择合适的LLM解决方案。最后，我们讨论了金融应用中利用LLM的局限性和挑战，为金融人工智能提供路线图。
以 ChatGPT 为代表的文本生成的兴起，正促使许多研究人员寻求一个比原始版本更具挑战性的图灵测试。
大数据文摘授权转载自AI科技评论 作者：李梅、黄楠 编辑：陈彩娴 以 ChatGPT 为代表的文本生成的兴起，正促使许多研究人员寻求一个比原始版本更具挑战性的图灵测试。 图灵测试解决两个问题：“机器可以思考吗？”，如果可以，“如何证明它？”经典图灵测试针对的是 AI 最棘手的目标之一：如何欺骗不知情的人类？但随着当前语言模型变得越来越复杂，与 AI 如何欺骗人类相比，研究人员开始更关注“如何证明它？”的问题。 有观点认为，现代的图灵测试应当在科学的环境中证明语言模型的能力，而不是仅仅看语言模型是否能够愚弄或
黄学东领衔，微软 Azure 认知服务研究团队重磅发布「视觉-语言-语音」多模态预训练模型 i-Code。在 5 项多模态视频理解任务以及 GLUE NLP 任务上树立了业界新标杆！ 编译丨OGAI 编辑丨陈彩娴 人类的智能涉及多个模态：我们整合视觉、语言和声音信号，从而形成对世界全面的认识。然而，目前大多数的预训练方法仅针对一到两种模态设计。 在本文中，我们提出了一种多模态自监督预训练框架「i-Code」，用户可以灵活地将视觉、语音和语言的形式组合成统一的通用的向量表征。在该框架下，我们首先将各个模态的
人们很容易就能在反直觉视频（幽默的、创意的、充满视觉效果的视频）中获得愉悦感，这吸引力不仅来自于视频对人类的视觉感官刺激，更来自于人类与生俱来的理解和发现快乐的能力，即能够理解并在出乎意料和反直觉的时刻找到乐趣。
目前，对话系统主要分为任务型，问答型和闲聊型三种对话类型。其中，任务型对话，具有明确的任务目标，需要将每一句话，转化为参数，明确其任务目的，并完成任务，其主要应用场景为智能助理，智能会议系统等。问答型对话，也有明确的目标，但是不需要将问题转化为参数，只需给出答案，应用领域主要是客服。闲聊型只需要吸引客户闲聊下去，没有任务目标，其主要虚拟陪伴助手。任务型对话，在商业领域有这广泛的应用，主要是解决某一领域的具体问题。
虚假的统计线索在这几年已经逐渐引起了人们的关注，比如去年被广泛讨论的BERT是如何在NLI任务中利用数据集中的词汇统计线索来做出更可能是正确的预测，比如带有"not"的判断更可能是正确的。
BERT (Bidirectional Encoder Representations from Transformers)
中文的信息无处不在，但如果想要获得大量的中文语料，却是不太容易，有时甚至非常困难。在2019年初这个时点上，普通的从业者、研究人员或学生，并没有一个比较好的渠道获得极大量的中文语料。笔者想要训练一个中文的词向量，在百度和github上上搜索了好久，收获却很少：要么语料的量级太小，要么数据过于成旧，或需要的处理太复杂。
近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。
信息抽取 （Information Extraction） 是把原始数据中包含的信息进行结构化处理，变成表格一样的组织形式。输入信息抽取系统的是原始数据，输出的是固定格式的信息点，即从原始数据当中抽取有用的信息。信息抽取的主要任务是将各种各样的信息点从原始数据中抽取出来。然后以统一的形式集成在一起，方便后序的检索和比较。由于能从自然语言中抽取出信息框架和用户感兴趣的事实信息，无论是在信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都有广泛应用。随着深度学习在自然语言处理领域的很多方向取得了巨大成功，循环神经网络(RNN)和卷积神经网络(CNN)也被用于信息抽取研究领域，基于深度学习的信息抽取技术也应运而生。
大家好，这里是NewBeeNLP。智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。
摘要主要介绍了大型语言模型（LLMs）在实际应用中面临的挑战，比如幻觉、知识更新缓慢和答案缺乏透明度等问题，并提出了检索增强生成（Retrieval-Augmented Generation，RAG）作为一种解决方案。RAG通过从外部知识库检索相关信息来辅助大型语言模型回答问题，已经被证明能显著提高回答的准确性，减少模型产生的幻觉，尤其是在知识密集型任务中。
支持应用程序让其不仅会通过 API 调用语言模型，而且还会数据感知（将语言模型连接到其他数据源），Be agentic（允许语言模型与其环境交互），最终让应用程序更强大和更具差异化。
每天给你送来NLP技术干货！ ---- ---- 分享嘉宾：姚婷 腾讯 专家研究员 编辑整理：王惠灵 合肥工业大学 出品平台：DataFunTalk 导读：智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。本次分享的主题是QQ浏览器搜索中的智能问答技术，主要分为以下几个部分： 1.背景介绍 智能问答在搜索中的应用 搜索中的Top1问答 2.关键技术 搜索问答的技术框架 KBQA：基于知识图谱的问答 DeepQA：基于搜索+机器
对人工智能领域而言，刚刚过去的2019年，堪称NLP（自然语言处理）年。在这一年里，Bert，XLNet，GPT-2等NLP模型、工具大放异彩，竞相占据各大AI头条。
上周，谷歌AI团队发布了一个新的NLP基准数据集：自然问题数据集(Natural Questions)。
机器之心专栏 机器之心编辑部 2021 年 12 月 WebGPT 的横空出世标志了基于网页搜索的问答新范式的诞生，在此之后，New Bing 首先将网页搜索功能整合发布，随后 OpenAI 也发布了支持联网的插件 ChatGPT Plugins。大模型在联网功能的加持下，回答问题的实时性和准确性都得到了飞跃式增强。 近期，来自清华、人大、腾讯的研究人员共同发布了中文领域首个基于交互式网页搜索的问答开源模型框架 WebCPM，相关工作录用于自然语言处理顶级会议 ACL 2023。 论文地址：https:/
选自arXiv 机器之心编译 参与：Jane W，吴攀 印度理工学院 Akshay Kumar Gupta 近日发布了一篇论文，对视觉问答方面的数据集和技术进行了盘点和比较。机器之心对本文内容进行
Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务.
本系列文章总结自然语言处理（NLP）中最基础最常用的「文本分类」任务，主要包括以下几大部分：
在传统的客服、IM等场景中，坐席需要花费大量时间回答用户的各种咨询，通常面临答案查询时间长、问题重复、时效要求高等挑战。因而，使用技术手段辅助坐席快速、准确、高效地回答用户的各类问题非常有必要。
互联网将全球信息互连形成了信息时代不可或缺的基础信息平台，其中知识分享服务已经成为人们获取信息的主要工具。为了加快互联网知识共享，出现了大量以知乎为代表的问答社区[1] 。用户注册社区后可交互式提出与回答问题达到知识共享和交换。然而，伴随用户急剧增多，平台短时间内积攒了数目巨大、类型多样的问题，进进超过有效回复数，严重降低了用户服务体验。如何将用户提出的问题有效推荐给可能解答的用户，以及挖掘用户感兴趣的问题是这些平台面临的严重挑战。这种情况下，工业界和学术界对以上问题开展了广泛研究，提出了一些针对问答社区的专家推荐方法提高平台解答效率[2] 。现有工作大多利用基于内容的推荐算法解决该问题[3-6]，比如配置文件相似性、主题特征相似性等，匹配效果依赖于人工构建特征的质量。近年来，以卷积神经网络（Convolutional Neural Network, CNN）、Attention 注意力机制为代表的深度学习技术不断収展，幵且已经成功应用到文本挖掘领域。相比于传统方法，深度模型可以学习到表达力更强的深度复杂语义特征。于是，出现了一些深度专家推荐算法，比如DeepFM[7] 、XDeepFM[8] 、CNN-DSSM 等，大大幅提升了传统推荐算法的准确度。虽然以上工作很好地实现了专家推荐，但都是根据用户长期关注的话题及相关解答历史刻画用户兴趣，产生的推荐结果也相对固定。随着时间推移，用户会不断学习新知识，其关注点及擅长解答的问题也很可能収生改变，由此会产生用户兴趣变化，甚至短期兴趣漂移[10] 。这些动态变化会严重影响推荐算法效果，所以如何动态刻画用户兴趣就显得尤为重要。其实，用户历史回答行为具有明显的时间序列关系，通过对已解答问题的序列分析有很大可能感知用户兴趣变化。近年来，循环神经网络（Recurrent Neural Network, RNN）被广泛用来处理序 列 数 据 ， 比 如 长 短 期 记 忆 网 络 （ Long Short-Term Memory, LSTM）、门控循环单元（Gate Recurrent Unit, GRU）等,可以根据前面状态输入结合当前模型状态产生当前输出。该类方法可与 CNN结合处理问题内容序列数据，从用户历史解答行为中挖掘长期与短期兴趣，从而动态产生当前兴趣。综合以上讨论，本文提出了结合注意力机制与循环神经网络的问答社区专家推荐算法，能够根据用户历史解答序列动态构建用户兴趣特征，实现推荐结果随时间収展不断调整。 主要工作与贠献如下：（1）基于预训练词嵌入模型分别实现了问题标题与主题标签的语义嵌入向量表示，将 CNN 卷积模型与 Attention 注意力机制结合，构造基于上下文的问题编码器，生成不同距离上下文的深度特征编码。（2）问题编码器对用户历史回答的问题迚行序列编码，利用长短期记忆循环神经网络 Bi-GRU 模型处理编码后的问题序列，幵结合用户主题标签嵌入向量构造用户兴趣动态编码器。（3）将问题与用户编码器产生的深度特征点积运算后加入全连接层实现相似度计算产生推荐结果。在知乎公开数据集上的对比实验结果表明该算法性能要明显优于目前比较流行的深度学习专家推荐算法。
文本分类是自然语言处理中最基本而且非常有必要的任务，大部分自然语言处理任务都可以看作是个分类任务。近年来，深度学习所取得的前所未有的成功，使得该领域的研究在过去十年中保持激增。这些文献中已经提出了许许多多的算法模型、基准数据集一集评测指标，因此需要一个对这个领域进行全面而且跟进趋势的调查。这里我们介绍基于机器学习和深度学习的文本分类，主要内容来自北航、伊利诺伊大学等学者联合发表论文 A Survey on Text Classification: From Shallow to Deep Learning。
随着传统的目标检测和目标识别方法的发展，很多问题已经得到了解决，人们对于解决更具挑战性的问题的兴趣也在激增，这些问题需要计算机视觉系统更好的「理解」能力。图像描述 [31]、可视化问答 [2]、自然语言对象检索 [20] 和「可视化图灵测试」[11] 等都存在要求丰富的视觉理解、语言理解以及知识表征和推理能力的多模态 AI 挑战。随着对这些挑战的兴趣不断增加，人们开始审视能够解决这些问题的基准和模型。发现意想不到的相关性、提供找到答案的捷径的神经网络，到底是针对这些挑战取得的进展，还是只是最新的类似于聪明的汉斯 [29,30] 或波将金村 [12] 这样的矫饰结果呢？
👆点击“博文视点Broadview”，获取更多书讯 基于电子商务平台上亿级的庞大商品库，电子商务交易得以不断增长。 为了更好地支持日常业务，需要将这些海量的商品以一种更优的方式进行描述、存储和计算，并且需要支持融合不同来源的数据，建立实体之间的语义连接，因此采用了知识图谱这种数据构架。 阿里巴巴积累了上千亿规模的商品数据作为商品知识图谱，这些数据来源于淘宝、天猫、阿里巴巴等在内的多个阿里旗下平台，囊括了品牌制造商、消费者、国家机构、物流提供商等多方利益相关者的数据。 从知识产权保护或购物体验的角度来看，商
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类！并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。
知识图谱（KGs）包含了许多真实世界的知识，在许多领域都发挥着重要重用，但是大型的知识图谱构建过程需要大量的人工介入。随着语言模型（LMs）的发展，其参数囊括的知识也是极其丰富且应用广泛的，同时语言模型的训练并不需要太多人工干涉。因此，有不少研究证明LMs可以替代KGs，但是这真的是正确的吗？或许我们需要重新审视一下这个观点。
LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。
数字化转型进入实质性阶段，企业对于数据的需求也随之加深。然而，一些企业积累了大量数据，却难以深度释放数据价值。
文中提出 NeurIPS 2021 论文『VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation』微软提出新的视频多模态 benchmark：《VALUE》，同时包含检索、caption、QA等多个任务！快来刷榜吧！
当今大数据时代，三分技术，七分数据，得数据者得天下，数据是新的原油。而即使获得相同的原油，但是不同的企业由于技术的差异，能够从原油中萃取出来的价值也是不一样的。一般对大数据的价值来说，大家耳熟能详的主要是数据化管理、数据驱动精细化运营等，这些主要还是以分析应用的场景为主，除此之外，大数据还可以借助AI的能力，把价值更加极致地发挥出来。
精选 6 篇来自 EMNLP 2018、COLING 2018、ISWC 2018 和 IJCAI 2018 的知识图谱相关工作，带你快速了解知识图谱领域最新研究进展。
麻省理工学院的研究人员开发了一种神经网络模型，可以分析采访中的原始文本和音频数据，以发现指示抑郁症的语音模式。该方法可用于为临床医生开发诊断辅助工具，以便在自然对话中检测到抑郁症的迹象。
上一章我们介绍了不同的指令微调方案, 这一章我们介绍如何降低指令数据集的人工标注成本！这样每个人都可以构建自己的专属指令集, 哈哈当然我也在造数据集进行时~
机器学习很复杂。你可能会遇到一个令你无从下手的数据集，特别是当你处于机器学习的初期。 在这篇文章中，你将学到一些基本的关于建立机器学习模型的技巧，大多数人都从中获得经验。这些技巧由Marios Mic
在本篇提前看中，我们重点聚焦 AAAI 2020 中与问答系统（Q&A）相关的文章。问答系统是自然语言处理领域的一个重要研究方向，近年来各大国际会议、期刊都发表了大量与问答系统相关的研究成果，实际工业界中也有不少落地的应用场景，核心算法涉及机器学习、深度学习等知识。问答系统（Q&A）的主要研究点包括模型构建、对问题/答案编码、引入语义特征、引入强化学习、内容选择、问题类型建模、引入上下文信息以及实际应用场景问题解决等。在本次 AAAI2020 中，直接以「Question/Answer」作为题目的论文就有 40 余篇。本文选取了其中三篇进行详细讨论，内容涉及语义特征匹配、模型构建和医学场景应用等。
过去一年来，机器学习模型在 NLP 领域很多语言理解任务上的表现都获得了极大提升。Elmo、BERT、ALICE、之前被称为 BigBird 的模型（现在叫做 MT-DNN）都取得了显著进展，OpenAI GPT 也有一种非常有效的方案，即将用简单的多任务在大量文本数据集上预训练的语言建模方法与将所得模型适应到下游应用的迁移学习技术结合起来。
1、TILE: Predicting Subjective Features from Questions on QA Websites using BERT
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
