作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步，以及未来的发展趋势，并与大家分享了这一年中作者最喜欢的研究。2017 年是 NLP 领域的重要一年，深度学习获得广泛应用，并且这
选自 tryolabs 机器之心编译 参与：路雪、黄小天、蒋思源 作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步，以及未来的发展趋势，并与大家分享了这一年中作者最喜欢的研究。2017 年是 NLP 领域的重要一年，深度学习获得广泛应用，并且这一趋势还会持续下去。 近年来，深度学习（DL）架构和算法在图像识别、语音处理等领域实现了很大的进展。而深度学习在自然语言处理方面的表现最初并没有那么起眼，不过现在我们可以看到深度学习对 NLP 的贡献，在很多常见的 NLP 任务中取得了顶尖的结果
翻译 | 林椿眄、刘畅、彭硕 编辑 | Donna Suisui 过去几年，深度学习架构和算法在图像识别和语音处理等领域取得了重大的进步。而在NLP（自然语言处理）领域，起初并没有太大的进展。不过现在，NLP领域取得的一系列进展已证明深度学习技术将会对自然语言处理做出重大贡献。一些常见的任务如实体命名识别，词类标记及情感分析等，自然语言处理都能提供最新的结果，并超越了传统方法。另外，在机器翻译领域的应用上，深度学习技术所取得的进步应该是最显著的。 这篇文章中，我将在通过一些深度学习技术来阐述2017年N
本文集仅为收录自己感兴趣、感觉不错的文章与资源，方便日后查找和阅读，所以排版可能会让人觉得乱。内容会不断更新与调整。文中涉及公众号的文章链接可以会失效，知道如何生成永久链接的小伙伴还望告知。
---- 新智元报道 来源：unite.ai 编辑：LRS 【新智元导读】有时候发了一条微博，评论区回复只有一个表情包，你真的明白这个背后的含义吗？台湾学者研究了三万条推特，最后竟然发现大部分道歉的情感竟然都是有套路的。 自然语言最美妙和最可恶的地方都在于它是有歧义的，例如同样一句话，以不同的语气说出来，可能是完全不同的含义。 例如使用微信打字交流，或者发一条朋友圈，朋友们错误地领会了你的感受，那可真是太尴尬了。 但是当你加入了表情包，就相当于说话中带了语气和表情，那文本的情绪就很好判断了。 显
理解和处理数字（识数）的能力对于很多复杂的推理任务而言非常关键。目前，大部分自然语言处理模型对文本中数字的处理方式与其他 token 相同：将数字看作分布式向量。但是这足以捕捉数字吗？
数据时代，机器学习也进入了大众视野，我们身边到处都有机器学习应用的场景，如人脸识别、智能语音识别、手写数字识别、金融反欺诈和产品精准营销等等。
编译 | 林椿眄 审校 | 胡永波 在现实生活中，文本信息无处不在。理解并学习文本数据的内在涵义一直是一个非常活跃的研究课题，这就是自然语言处理。 对于企业而言，利用文本数据可以对新产品的功能进行验证、改进并扩展。在这样的实际应用中，有三大类自然语言处理任务最为常见： 识别不同的用户/客户群（如预测客户流失量、生命周期价值、产品偏好） 准确地检测和提取不同类别的反馈信息（如正面和负面的评论/意见、衣服尺寸等特定属性的提及频率） 根据用户的意图对文本信息进行分类（如请求基本帮助、紧急问题） 尽管自然语言处理领
美国证券交易委员会（SEC）的文件长期以来一直被用作出投资决策的宝贵信息来源。一些论文和项目已经演示了如何使用自然语言处理技术从SEC文件和新闻中提取信息，以预测股票波动。本文在其他工作的基础上，通过使用GloVE嵌入技术、MLP、CNN和RNN深度学习体系结构，预测8-K文件发布后的股票价格变化。
自然语言处理（NLP）是指对人类语言进行自动分析和表示的计算技术，这种计算技术由一系列理论驱动。NLP 研究从打孔纸带和批处理的时代就开始发展，那时分析一个句子需要多达 7 分钟的时间。到了现在谷歌等的时代，数百万网页可以在不到一秒钟内处理完成。NLP 使计算机能够执行大量自然语言相关的任务，如句子结构解析、词性标注、机器翻译和对话系统等。
自然语言处理（NLP）是指对人类语言进行自动分析和表示的计算技术，这种计算技术由一系列理论驱动。NLP 研究从打孔纸带和批处理的时代就开始发展，那时分析一个句子需要多达 7 分钟的时间。到了现在谷歌等的时代，数百万网页可以在不到一秒钟内处理完成。NLP 使计算机能够执行大量自然语言相关的任务，如句子结构解析、、机器翻译和等。
本文是我之前写过的一篇基于推特数据进行情感分析的文章（https://ahmedbesbes.com/sentiment-analysis-on-twitter-using-word2vec-and-keras.html）的延伸内容。那时我建立了一个简单的模型：基于 keras 训练的两层前馈神经网络。用组成推文的词嵌入的加权平均值作为文档向量来表示输入推文。
【新智元导读】谷歌今天宣布开源大规模语言建模模型库，这项名为“探索RNN极限”的研究今年 2 月发表时就引发激论，如今姗姗来迟的开源更加引人瞩目。研究测试取得了极好的成绩，另外开源的数据库含有大约 1
当我们听说卷积神经网络（CNN）时，我们通常会想到计算机视觉。CNN负责图像分类方面的重大突破，是目前大多数计算机视觉系统的核心，从Facebook的自动照片标签到自动驾驶汽车。
本系列文章总结自然语言处理（NLP）中最基础最常用的「文本分类」任务，主要包括以下几大部分：
作者：孟廉 编辑：田旭 前 言 文章来自：https://blog.insightdatascience.com 作者：Emmanuel Ameisen 无论您是一个成熟的公司，还是致力于推出一个新服务，您都可以利用文本数据来验证、改进和扩展您的产品的功能。从文本数据中提取有意义的信息并对其进行学习是自然语言处理(NLP)的一个研究活跃的课题。 NLP领域每天都会产生新的令人兴奋的结果，在与数百家公司合作之后，Insight团队发现一些比较关键的实际应用比其他应用出现得更为频繁，具体来说有以下几种：
深度学习模型在计算机视觉与语音识别方面取得了卓越的成就，在 NLP 领域也是可以的。将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似 n-gram 的关键信息），从而能够更好地捕捉局部相关性。
CV（计算机视觉）领域一直是引领机器学习的弄潮儿。近年来更是因为Transformers模型的横空出世而掀起了一阵腥风血雨。小编今天就带大家初步认识一下这位初来乍到的CV当红炸子鸡～
在字符上使用 CNN 或 LSTM 以获得基于字符的词表示的做法现在相当普遍，特别是对于形态信息重要或有许多未知单词的丰富的语言和任务，效果更加明显。据我所知，序列标签使用基于字符的表示（Lample 等人，2016；普兰克等人，2016），可以减轻在计算成本增加的情况下必须处理固定词汇表的需要，并支持完全基于字符的 NMT （Ling 等人， 2016；Lee 等人，2017）。
当我们听说卷积神经网络（CNN）时，我们通常会想到计算机视觉。从Facebook的自动标记照片到自驾车，CNN使图像分类领域发生重大突破，它是当今大多数计算机视觉系统的核心。
https://www.cnblogs.com/the-wolf-sky/articles/10192363.html
来源：Deephub Imba本文约8400字，建议阅读15分钟本文将使用Python实现和对比解释NLP中的3种不同文本摘要策略。 本文将使用 Python 实现和对比解释 NLP中的3种不同文本摘要策略：老式的 TextRank（使用 gensim）、著名的 Seq2Seq（使基于 tensorflow）和最前沿的 BART（使用Transformers ）。 NLP（自然语言处理）是人工智能领域，研究计算机与人类语言之间的交互，特别是如何对计算机进行编程以处理和分析大量自然语言数据。最难的 NLP
对于文本分类问题，常见的方法无非就是抽取文本的特征，比如使用doc2evc或者LDA模型将文本转换成一个固定维度的特征向量，然后在基于抽取的特征训练一个分类器。 然而研究证明，TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解，TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛，且速度快，一般是首选；对长文本领域，TextCNN主要靠filter窗口抽取特征，在长距离建模方面能力受限，且对语序不敏感。
本文将使用 Python 实现和对比解释 NLP中的3 种不同文本摘要策略：老式的 TextRank（使用 gensim）、著名的 Seq2Seq（使基于 tensorflow）和最前沿的 BART（使用Transformers ）。
本文带你了解如何运用自然语言处理来辅助投资分析，涵盖了主题抽取、事件抽取、公众情绪这三类典型的应用场景。
摘要 NLP尚未解决的核心目标是，确保电脑理解文件回答理解问题。而通过机器学习系统，解决该问题的一大阻碍是：人类-注释数据的可用性有限。Hermann等人通过生成一个超过百万的实例（将CNN和日常邮件消息与他们自己总结的重点进行配对）来寻求解决方案，结果显示神经网络可以通过训练，提高在该任务方面的性能。本文中，我们对这项新的阅读理解任务进行了彻底的检测。我们的主要目标是，了解在该任务中，需要什么深度的语言理解。一方面，我们仔细的手动分析问题小的子集，另一方面进行简单的展示，在两个数据集中，细心的设计系统，就
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
我们的任务是将ULMFit（Ruder等人，2018）等监督/半监督技术应用于Twitter美国航空公司情绪分析数据。
标题：BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
自然语言表征模型最近受到非常多的关注，很多研究者将其视为 NLP 最重要的研究方向之一。例如在大规模语料库上预训练的 BERT，它可以从纯文本中很好地捕捉丰富的语义模式，经过微调后可以持续改善不同 NLP 任务的性能。因此，我们获取 BERT 隐藏层表征后，可用于提升自己任务的性能。
深度学习的概念源于人工神经网络的研究，含有多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示，以表征数据的类别或特征。它能够发现数据的分布式特征表示。深度学习是机器学习的一种，而机器学习是实现人工智能的必经之路。
无论您是成熟公司还是致力于推出新服务，您始终可以利用文本数据来验证，改进和扩展产品的功能。从文本数据中提取意义和学习的科学是一个活跃的研究主题，称为自然语言处理（NLP）。
导读： 这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。
导读：这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
本文来自公众号：哈工大SCIR，AI 科技评论 获授权转载，如需转载，请联系哈工大SCIR
今天为大家解读的是由京东硅谷研发中心首席科学家吴凌飞博士等研究者最新发表的GNN for NLP综述，几乎覆盖了围绕NLP任务的所有GNN相关技术，是迄今为止GNN for NLP领域最全面最新的综述性文献。
表格识别的研究主要涉及两个方面，一方面是对单元格内的文本进行识别，这一步通常是在确定单元格区域后，利用较为稳定的光学字符识别方法（OCR）来实现，这一方面不是表格识别研究的重点，不在此展开；另一方面是基于整个表格内容进行的表格分类、单元格分类、以及表格信息抽取等任务，这是当前表格识别研究的热门领域之一。下文会对表格信息抽取进行展开讲述。
选自ruder.io 作者：Sebastian Ruder 机器之心编译 参与：Geek AI、张倩 本文探讨了如何使用自定义的 TensorFlow Estimator、嵌入技术及 tf.layers 模块来处理文本分类任务，使用的数据集为 IMDB 评论数据集。通过本文你将学到如何使用 word2vec 词嵌入和迁移学习技术，在有标签数据稀缺时获得更好的模型性能。 本文主要内容如下： 使用 Datasets 装载数据 使用预封装好的评估器（estimator）构建基线 使用词嵌入技术 通过卷积层和 LS
本文选自介绍 TensorFlow 的 Datasets 和 Estimators 模块系列博文的第四部分。读者无需阅读所有之前的内容，如果想重温某些概念，可以查看以下链接：
语言模型（Language Model，简称 LM）是一个用于建模自然语言（即人们日常使用的语言）的概率模型。简单来说，语言模型的任务是评估一个给定的词序列（即一个句子）在真实世界中出现的概率。这种模型在自然语言处理（NLP）的诸多应用中，如机器翻译、语音识别、文本生成等，都起到了关键性的作用。
在本节中，我们将使用 PyTorch 中可用的各种自然语言处理（NLP）技术来构建各种实际 -使用 PyTorch 的世界应用。 情感分析，文本摘要，文本分类以及使用 PyTorch 构建聊天机器人应用是本节将介绍的一些任务。
【导读】近日，Abdul Fatir 在自己的CS5228课程报告使用不同的方法进行Tweets情感分析（作为二分类问题），并对这些方法的性能进行比较，主要是基于Python实现多种模型(Naive
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
