论文链接：https://www.nature.com/articles/s41593-020-0608-8
这种技术可能在未来会用于复述，机器翻译和会话系统。它可以作为11月微软研究所展示的系统的补充，后者利用复杂的自然语言处理技术推理弱结构化文本中的关系。
维基百科作为一个开放协同式的百科网站，是全世界最受欢迎的十大网站之一。目前，维基百科已经累积了超过上百万个词条。
日前，在加拿大蒙特利尔举办的AI顶会NeurIPS 2018上，来自密歇根大学和谷歌大脑的研究人员提出了一种新的面向NLP任务的机器学习新架构，不仅能够根据给定的实例生成句子，而且能够在保留句子意思的情况下，改变句子表达的感情、时态、复杂度等属性。
选自Science Direct 机器之心编译 参与：路雪、蒋思源 利用大脑信号进行翻译？本文作者从 2014 年开始研究「用大脑信号进行翻译」(brain-based translation），并发过一篇关于英语葡语利用脑信号进行互译的论文，研究发现用被试者（英语）被英语概念激活的大脑信号去训练算法时，算法可以预测另一个被试者（葡萄牙语）大脑中被葡萄牙语激活的概念，通过大脑信号的类似，实现葡萄牙语和英语的互解。近日，她发表了新的研究成果，对三种语言（英语、葡语、普通话）互解进行研究，发现两种不同语言训练一
十年前，IBM 的 Watson 获得了答题节目《Jeopardy!》的冠军，当时 IBM 宣称：「Watson 能够理解自然语言的所有歧义和复杂性。」然而，正如我们所看到的，Watson 随后在试图「用人工智能彻底改变医学」的过程中失败了，智能体所具备的语言能力与实际理解人类语言并不能完全划等号。
文经公众号「机器人圈」授权转载（微信号：ROBO_AI） 本文长度为4473字，建议阅读10分钟 本文为你介绍一套NLP文本分类深度学习方法库及其12个模型。 这个库的目的是探索用深度学习进行NLP文本分类的方法。 它具有文本分类的各种基准模型，还支持多标签分类，其中多标签与句子或文档相关联。 虽然这些模型很多都很简单，可能不会让你在这项文本分类任务中游刃有余，但是这些模型中的其中一些是非常经典的，因此它们可以说是非常适合作为基准模型的。 每个模型在模型类型下都有一个测试函数。 我们还探讨了用两个seq
AI 科技评论按：3 月 15 日的文章《机器翻译新突破，微软中英新闻翻译达人类水平》中，我们介绍了微软亚洲研究院与雷德蒙研究院共同研发的新的机器翻译系统，微软称它在 newstest2017 的中-英测试集上达到了与人工翻译媲美的水平。 这则消息不仅引起了我们的好奇，让我们的编辑记者们感叹「人工智能这么快就又下一城」，同时也引起了一些读者的疑问。毕竟，我们时常见到新模型在公开测试中刷榜，能够和人类拿到同样的分数，但不一定换一个数据集就还能和人类媲美，尤其是对于灵活多变的人类语言而言；另一面，谷歌、搜
今天为大家介绍的是来自Tal Golan团队的一篇论文。语言模型似乎越来越符合人类处理语言的方式，但通过对抗性示例来识别它们的弱点十分具有挑战性，因为语言是离散的，并且人类语言感知非常复杂。
自我隔离的第六天，今天阳光特别好，但是不能出门，不过托别人的福，今天整了个汉堡（好久没有吃肉了），美滋滋~~
语法改错是一个大家比较陌生的领域，大致可以认为对英文进行语法改错。给定一句带有语法错误的话，AI对其进行修正得到正确的语法表示。最近微软亚洲研究院给出论文称当前Deep Learning模型已经超过人类水平。具体论文参考（论文地址：https://arxiv.org/abs/1807.01270）
事实上，可解释性并没有数学上的严格定义，可以简单理解其为人们能够理解模型决策原因的程度。换句话说，对机器学习模型来说，它的可解释性越高，人们就越容易理解它为什么做出某些决策或预测。
摘要 NLP尚未解决的核心目标是，确保电脑理解文件回答理解问题。而通过机器学习系统，解决该问题的一大阻碍是：人类-注释数据的可用性有限。Hermann等人通过生成一个超过百万的实例（将CNN和日常邮件消息与他们自己总结的重点进行配对）来寻求解决方案，结果显示神经网络可以通过训练，提高在该任务方面的性能。本文中，我们对这项新的阅读理解任务进行了彻底的检测。我们的主要目标是，了解在该任务中，需要什么深度的语言理解。一方面，我们仔细的手动分析问题小的子集，另一方面进行简单的展示，在两个数据集中，细心的设计系统，就
你可能有过这样的经历:想要快速给某人发短信，但你手头上正有活，比如正拿着杂货或做饭，手头很忙。虽然Siri可以为我们和设备之间的互动提供一个新的交互方式，但还是有很多限制，如果我们要超越这种限制又该怎么办呢？脑机接口技术将为我们带来一种新的交互体验，这种体验可以超越当前各种语音助手的限制。
成千上万的人因事故或疾病导致言语能力丧失，与他人交流陷入困难。为了给不能说话的人提供便利，神经科学家设计了一种可以将大脑信号转换为语音的系统，每分钟可产生约150个字，语速接近自然水平。
【新智元导读】解决深度学习问题时，使用迁移学习能够很好地减少所需的训练数据量。但是，使用这种方法需要更多的专业知识，比如判断如何调试问题、将哪一层的输出作为输入。本文首先通过一个简单示例（对影评的情感倾向做预测），手把手教你使用迁移学习。然后，文章介绍了一个有用的机器学习 API（也即作者本人公司的产品）——NanoNets，它包含一组训练含有数百万个参数的预训练模型，上传你自己的数据（或搜索网络数据），它会选择适用于你任务的最佳模型，简化你使用迁移学习训练模型的过程。 近来深度学习大受欢迎，在诸如语言翻译
昨天，加州大学旧金山分校的Joseph Makin 等人在 Nature Neuroscience上发表了一篇论文，标题为《利用 encoder-decoder 框架，将大脑皮质活动翻译为文本》（Machine translation of cortical activity to text with an encoder–decoder framework）。
---- 新智元报道 编辑：LRS 好困 【新智元导读】基准测试堪称人工智能领域的「科举制」，但这种应试教育唯分数论输赢，能训练出真正的好模型吗？ 2010年，基于ImageNet的计算机视觉竞赛推出，激发了深度学习的一场算法与数据的革命，从此基准测试成为衡量AI模型性能的一个重要手段。 在NLP领域， 也有GLUE（通用语言理解评估）基准，AI模型需要在包含上千个句子的数据集上进行训练，并在九个任务上进行测试，例如判断一个句子是否符合语法，分析情感，或者两个句子之间是否是逻辑蕴涵等。 GLUE刚
美国麻省理工学院（MIT）官网报道该校在通用神经网络方面的研究进展可用于揭示神经网络的运行机制。理解神经网络的运行机制可以帮助研究人员增强其性能，并将从中获得的经验转用到其他应用。 神经网络的机器学习系统通过分析大量的训练数据来学习如何执行任务。在训练中，神经网络不断调整数千个内部参数，直到能够可靠地执行一些任务，例如识别数字图像中的对象，或将文本从一种语言翻译成另一种语言。但这些参数的最终值对揭示神经网络的运行机制用处不大。最近，计算机科学家开发了一些巧妙的技术，可以对特定神经网络的计算进行划分。 在新近
基于情感词典的文本情感分类 传统的基于情感词典的文本情感分类，是对人的记忆和判断思维的最简单的模拟，如上图。我们首先通过学习来记忆一些基本词汇，如否定词语有“不”，积极词语有“喜欢”、“爱”，消极词语
今天给大家介绍来自加拿大蒙特利尔大学Mila人工智能研究所唐建教授课题组在ICML2020上发表的一篇关于关系抽取的文章。作者利用全局关系图来研究不同句子之间的新关系，并提出了一种新的贝叶斯元学习方法。该方法能够有效的学习关系原型向量的后验分布，并利用图神经网络参数化初始先验分布，并使用随机梯度Langevin动力学优化原型向量后验分布。最后实验表明，本文方法要优于目前小样本关系抽取模型的性能。
本文简要介绍了自然语言处理中极其重要的句法分析，并侧重对依存句法分析进行了重点总结，包括定义、重要概念、基本方法、性能评价、依存分析数据集，最后，分享了一些流行的工具以及工具实战例子。
使用深度学习解决问题的一个常见障碍是训练模型所需的数据量。对大数据的需求是因为模型中有大量参数需要学习。
人们倾向于知道他人是如何看待他们和他们的业务的，不管是什么东西，不管是汽车，饭店等产品还是服务本身。如果你知道你的客户如何看待你，那么你可以保持或改善甚至改变你的策略，以提高客户满意度。你可以借助收集他们发送给你的电子邮件，并使用一些方法根据他们使用的文字来分类他们的意见。此外，情绪分析还有在工业上的其他研究应用。
谷歌Research和丰田技术研究所(Toyota Technological Institute)联合发布了一篇新论文，向全世界介绍了BERT的继任者——ALBERT。(“ALBERT:A Lite BERT for Self-supervised Learning of Language Representations”)。
文章知乎链接 https://zhuanlan.zhihu.com/p/92654122
编辑 | 磐石 出品 | 磐创AI技术团队 【磐创AI导读】：本文详细介绍了基于Doc2vec训练句子向量的原理及其python实现。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。 目录 Doc2vec原理 代码实现 总结 一. Doc2vec原理 前文总结了Word2vec训练词向量的细节，讲解了一个词是如何通过word2vec模型训练出唯一的向量来表示的。那接着可能就会想到，有没有什么办法能够将一个句子甚至一篇短文也用一个向量来表示呢？答案是肯定有的，构建一个句子向量有很多种方法，今天我们接着word
自然语言推理是NLP高级别的任务之一，不过自然语言推理包含的内容比较多，机器阅读，问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候，里面有个模块：文本蕴含任务(text entailment)，它的任务形式是：给定一个前提文本（premise），根据这个前提去推断假说文本（hypothesis）与premise的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从premise中可以推断出hypothesis；矛盾关系（contradiction）即hypothesis与premise矛盾。文本蕴含的结果就是这几个概率值。
距离首次从人脑中解码语言至今已有十年之久，但解码语言的准确性和速度仍然远远低于自然语言。本研究展示了一种通过解码皮层脑电获得高准确率、高自然程度语言的方法。根据机器翻译的最新进展，我们训练了一个递归神经网络，将每个句子长度下诱发的神经活动序列编码为一个抽象的表达，然后逐字逐句地将这个抽象表达解码成一个英语句子。对每个参与者来说，数据包括一系列句子（由30-50个句子多次重复而来）以及约250个置于大脑皮层的电极记录到的同步信号。对这些句子的解码正确率最高可以达到97%。最后，本研究利用迁移学习的方法改进对有限数据的解码，即利用多名参与者的数据训练特定的网络层。本研究发表在Nature neuroscience杂志。
深度神经网络是在困难的学习任务中取得卓越性能的强大模型。尽管拥有大量的标记训练集，DNN就能很好地工作，但是它们并不能用于将序列映射到序列。在本文中，我们提出了一种通用的端到端序列学习方法，它对序列结构作出最小的假设。我们的方法使用多层长短期记忆网络(LSTM)将输入序列映射到一个固定维度的向量，然后使用另一个深层LSTM从向量中解码目标序列。我们的主要结果是，在WMT 14数据集的英法翻译任务中，LSTM的翻译在整个测试集中获得了34.8分的BLEU分数，而LSTM的BLEU分数在词汇外的单词上被扣分。此外，LSTM人在长句上没有困难。相比之下，基于短语的SMT在同一数据集上的BLEU得分为33.3。当我们使用LSTM对上述系统产生的1000个假设进行重新排序时，它的BLEU分数增加到36.5，这接近于之前在这项任务中的最佳结果。LSTM还学会了对词序敏感、并且对主动语态和被动语态相对不变的有意义的短语和句子表达。最后，我们发现颠倒所有源句(而不是目标句)中单词的顺序显著提高了LSTM的表现，因为这样做在源句和目标句之间引入了许多短期依赖性，使得优化问题变得更容易。
题目地址：https://leetcode-cn.com/problems/uncommon-words-from-two-sentences/solution/yong-shu-zu-jie-jue-de-si-lu-hao-shi-2ms-jz5m/
今年和去年前后相继出现了多个关于句子相似度判定的比赛，即得定两个句子，用算法判断是否表示了相同的语义或者意思。其中第4、5这个2个比赛数据集格式比较像，2、3 的数据集格式比较像，本仓库基于2、3数据集做实验
多分类也称为单标签问题，例如，我们为每个样本分配一个标签。名称中的"多"表示我们处理至少 3 个类，对于 2 个类，我们可以使用术语二进制分类(binary classification)。另一方面，多标签任务更为一般，允许我们为每个样本分配多个标签，而不仅仅是一样本一标签。
论文题目：Neural Document Summarization by Jointly Learning to Score and Select Sentences.
丰色 杨净 发自 凹非寺 量子位 | 公众号 QbitAI 你说ChatGPT，它写的东西逼真到傻傻分不清？ 没关系！ 现在，它的“克星”来了—— 一位华人小哥专门搞了这么一个网站，专门鉴别文字到底是出自于AI还是人类。 你只需要把相应的内容粘进去，几秒内就能分析出结果。 比如这段： 它：“妥妥的人类～” 至于这段： 它：“就知道是AI。” 如此神器一出，可谓迅速俘获大家的芳心。 这不，直接把服务器都给挤崩喽（好在还有个备用的）。 这下，那些用ChatGPT写作业的“熊孩子”也要惨啦？ 是人还是Cha
然而，尽管达到了高水平的流畅性，神经系统仍然容易产生「幻觉」(即产生的文本尽管可以被理解，但是含义并不忠实于源文本)，这使得这些系统不能用于许多需要高准确性的应用。
在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq体系结构通过Python的Keras库创建我们的语言翻译模型。
传统的基于情感词典的文本情感分类，是对人的记忆和判断思维的最简单的模拟，如上图。我们首先通过学习来记忆一些基本词汇，如否定词语有“不”，积极词语有“喜欢”、“爱”，消极词语有“讨厌”、“恨”等，从而在大脑中形成一个基本的语料库。然后，我们再对输入的句子进行最直接的拆分，看看我们所记忆的词汇表中是否存在相应的词语，然后根据这个词语的类别来判断情感，比如“我喜欢数学”，“喜欢”这个词在我们所记忆的积极词汇表中，所以我们判断它具有积极的情感。
当我们听说卷积神经网络（CNN）时，我们通常会想到计算机视觉。从Facebook的自动标记照片到自驾车，CNN使图像分类领域发生重大突破，它是当今大多数计算机视觉系统的核心。
麻省理工学院研究人员的一项研究发现了一种判断人们学习英语水平的新方法：跟踪他们的眼球运动。
神经机器翻译是自然语言处理中的重要任务。目前的通用做法是，训练时输入源句子（source sentence）和目标句子（target sentence）组成的句子对，训练神经网络模型后，在测试集上生成翻译文本。
今年年初，OpenAI发布了一个非常强大的语言模型，可以模拟生成类似人类创作出的文本。通常在公告发布之后就会面向公众发布模型，但这这次的公告不同以往，它表示这样一个强大的工具可能会构成危险，因此只发布了一个较小、功能较单一的模型。
选自arXiv 作者：Guillaume Lample等 机器之心编译 参与：张倩、路 近日，FAIR 研究人员提出两种机器翻译模型的变体，一种是神经模型，另一种是基于短语的模型。研究者结合了近期提出
近年来，预训练的语言模型，如 BERT 和 GPT-3，在自然语言处理 (NLP) 中得到了广泛应用。通过对大量文本进行训练，语言模型获得了关于世界的广泛知识，在各种 NLP 基准测试中取得了强劲的表现。
最近一段时间以来，GPT 和 LLaMA 等大型语言模型 (LLM) 已经风靡全球。
当我们测试语音识别相关的系统，衡量性能是非常重要的，一般语音识别准确性最常用的度量标准是字错误率，比如录音笔中的转写功能或者输入法语音输入等等，其实就是语音识别提供的服务，因此也需要测试相关的指标。
编译：弗格森 【新智元导读】 两篇新的论文表明，神经网络可以在不需要平行文本的情况下学习翻译，这是一个令人惊讶的进步，它将可以让人们可以读懂更多语言的文档。 因为神经网络，即一种以人脑为启发的计算机算法，自动的语言翻译取得了长足的进步。但是训练这样的网络需要大量的数据：通过数以百万计逐句对应的翻译来展示人类是如何做到这一点的。现在，两篇新的论文表明，神经网络可以在不需要平行文本的情况下学习翻译，这是一个令人惊讶的进步，它将可以让人们可以读懂更多语言的文档。 “想象一下，你给一个人很多中文书籍和大量的阿拉伯语
自然语言处理(NLP)是许多数据科学系统中必须理解或推理文本的关键组成部分。常见的用例包括文本分类、问答、释义或总结、情感分析、自然语言BI、语言建模和消歧。
作者（三位Google大佬）一开始提出DNN的缺点，DNN不能用于将序列映射到序列。此论文以机器翻译为例，核心模型是长短期记忆神经网络（LSTM），首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为特定维度的向量，然后另一个深层LSTM将此向量解码成相应的另一语言序列（下文简称目标序列）。我个人理解是，假设要将中文翻译成法语，那么首先将中文作为输入，编码成英语，然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machine Translation, SMT)相比，在BLUE(Bilingual Evaluation Understudy)算法的评估下有着更好的性能表现。同时，作者发现，逆转输入序列能显著提升LSTM的性能表现，因为这样做能在源序列和目标序列之间引入许多短期依赖，使得优化更加容易
在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq通过Python的Keras库创建我们的语言翻译模型。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
