文本纠错又称为拼写错误或者拼写检查，由于纯文本往往来源于手打或者OCR识别，很可能存在一些错误，因此此技术也是一大关键的文本预处理过程，一般存在两大纠错类型。
情感分析是文本分类的一种，主要方法是提取文本的表示特征，并基于这些特征进行分类。情感分析根据研究对象的粒度不同可分为文本级、句子级、对象级等，分别对相应单位的文本进行情感倾向分析。其中，较细粒度的情感分析为对象级情感分析（Aspect-level Sentiment Analysis, ASA），任务输入为一段文本和指定的待分析对象，输出为针对该对象的情感倾向。
不论是各处霸榜的谷歌BERT、OpenAI最近的强大NLP模型GPT-2，还是DeepMind击败星际2顶尖职业玩家的AlphaStar，背后都有 Transformer的身影。
| 导语 问答系统是信息检索的一种高级形式，能够更加准确地理解用户用自然语言提出的问题，并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于搜索引擎，问答系统能更好地理解用户提问的真实意图, 进一步能更有效地满足用户的信息需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。 一、引言 问答系统处理的对象主要包括用户的问题以及答案。根据问题所属的知识领域，问答系统可分为面向限定域的问答系统、面向开放域的问答系统、以及面向常用问题集（Fre
Transformer是一类神经网络架构，现在越来越受欢迎了。Transformer最近被OpenAI用于训练他们的语言模型，同时也被DeepMind的AlphaStar 采用，用于他们的程序击败那些顶级星际玩家。
选自arXiv 作者：Hendrik Strobelt等 机器之心编译 参与：刘天赐、刘晓坤 语言翻译中出现的细微错误对于人类而言常常是很明显的，并会导致差异很大的结果。例如，之前由于 seq2seq 翻译系统将「早上好」错误的翻译为了「攻击他们」，导致错误的逮捕事故。深度学习模型的不可解释性更是普遍存在的问题。为此，IBM 研究院、Watson AI Lab、哈佛 NLP 团队和哈佛视觉计算团队联合研发了一款针对 seq2seq 模型的可视化调试工具 Seq2Seq-Vis，使用户可以可视化模型执行过程中
本文介绍了LSF-SCNN模型在短文本分类和答案选择问题上的应用。首先，作者介绍了模型的基本原理和结构，然后详细阐述了模型在两个数据集上的实验结果。实验结果表明，模型在两个数据集上均获得了较高的准确率，在答案选择问题上表现尤为突出。
在本文中，我们将研究如何处理文本数据，这无疑是最丰富的非结构化数据来源之一。文本数据通常由文档组成，文档可以表示单词、句子甚至是文本的段落。文本数据固有的非结构化(没有格式整齐的数据列)和嘈杂的特性使得机器学习方法更难直接处理原始文本数据。因此，在本文中，我们将采用动手实践的方法，探索从文本数据中提取有意义的特征的一些最流行和有效的策略。这些特征可以很容易地用于构建机器学习或深度学习模型。
介绍了一些传统但是被验证是非常有用的，现在都还在用的策略，用来对非结构化的文本数据提取特征。
接着，文章详细阐述了训练过程，分为预训练和微调两个阶段。在预训练阶段，模型学习理解文本数据，包括词汇、语法、事实等；在微调阶段，模型使用具有限制性任务的数据集来调整，以获得更准确的输出。作者还提到了训练数据的来源，强调了在大量网络文本数据中获取知识的重要性。
文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。
【导读】自科幻电影诞生以来，社会一直对人工智能着迷。 每当我们听到“AI”一词时，我们的第一个想法通常是电影中的未来机器人，如终结者和黑客帝国。尽管我们距离可以自己思考的机器人还有几年的时间，但在过去几年中，机器学习和自然语言理解领域已经取得了重大进展。 个人助理（Siri / Alexa），聊天机器人和问答机器人等应用程序真正彻底改变了我们与机器和开展日常生活的方式。自然语言理解（NLU）和自然语言生成（NLG）是人工智能发展最快的应用之一，因为人们越来越需要理解和从语言中获得意义，其中含有大量含糊不清的结构。 根据Gartner的说法，“到2019年，自然语言生成将成为90％的现代BI和分析平台的标准功能”。 在这篇文章中，我们将讨论NLG成立初期的简短历史，以及它在未来几年的发展方向。
本博客是对文本摘要的简单介绍，可以作为当前该领域的实践总结。它描述了我们（一个RaRe 孵化计划中由三名学生组成的团队）是如何在该领域中对现有算法和Python工具进行了实验。
自 Google AI 提出 BERT (Bidirectional Encoder Representations from Transformers) 后，BERT 在自然语言处理领域（Natural Language Processing，NLP）中应用获得了非常好的效果，它成为了近期 NLP 领域中最重要的进展。BERT 是一种 Transformer 的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的 BERT 表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的 NLP 任务，例如语言推理、问答系统等。
作者 | 张俊林 责编 | 何永灿 最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。 本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应用场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型
1. Relation Classification via Recurrent Neural Network（Zhang 2015）
text2vec, chinese text to vetor.(文本向量化表示工具，包括词向量化、句子向量化)
错误检测部分先通过结巴中文分词器切词，由于句子中含有错别字，所以切词结果往往会有切分错误的情况，这样从字粒度和词粒度两方面检测错误， 整合这两种粒度的疑似错误结果，形成疑似错误位置候选集；
在很多中文NLP相关的落地场景都会涉及到文本纠错的相关技术，例如跟各种形式机器人的语音或者文字对话，或者用手机扫描相关的PDF或者图片，或者跟人聊天时用输入法打字等等，无论是通过ASR识别的语音信息，通过OCR识别得到的图片信息，还是用户真实通过输入法的文字，都有可能出现错误。这些错误会影响文本的可读性，不利于人和机器的理解，如果这些错误不加处理，会传播到后续的环节，影响后续任务的效果。常见的中文错误类型包括以下几种：
最早提出的Transformer模型[1]针对的是自然语言翻译任务。在自然语言翻译任务中，既需要理解每个单词的含义，也需要利用单词的前后顺序关系。常用的自然语言模型是循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）。
工业界的很多应用都有在语义上衡量本文相似度的需求，直接目标就是判断两句话是否表达了相同或相似意思，我们将这类需求统称为“语义匹配”，nlp中的许多任务都可以抽象为语义匹配任务。语义匹配的相关应用场景主要有搜索引擎、问答系统、推荐系统、文本去重等，主要是为了找到与目标文本最相关的文本，比如在问答系统中找到和问题最相关的答案，在搜索引擎中找到与搜索框中关键词最相关的网页等。
文本数据通常是由表示单词、句子，或者段落的文本流组成。由于文本数据非结构化（并不是整齐的格式化的数据表格）的特征和充满噪声的本质，很难直接将机器学习方法应用在原始文本数据中。在本文中，我们将通过实践的方法，探索从文本数据提取出有意义的特征的一些普遍且有效的策略，提取出的特征极易用来构建机器学习或深度学习模型。 研究动机 想要构建性能优良的机器学习模型，特征工程必不可少。有时候，可能只需要一个优秀的特征，你就能赢得 Kaggle 挑战赛的胜利！对于非结构化的文本数据来说，特征工程更加重要，因为我们需要将文
自然语言处理（Natural Language Processing，NLP）是一种人工智能技术，旨在使计算机能够理解、解释和生成自然语言。语义理解是NLP的一个重要领域，它涉及到从文本数据中提取意义和信息的过程。本文将详细介绍自然语言处理的语义理解。
本文中蓝色字体为外部链接，部分外部链接无法从文章中直接跳转，请点击【阅读原文】以访问。
在上一篇文章中，我大致介绍了推荐系统，但卡在了矩阵系统的性能这一块。所以本文将继续上一篇，一个个找出每个没有执行的变量，并尝试修复它们。
大家好，这里是顶尖架构师栈！点击上方关注，添加“星标”，切勿错过每日干货分享，一起学习大厂前沿架构！
GPT-4的发布给ChatGPT带来了又一次飞跃，ChatGPT不仅支持文字输入，还能看得懂图片、甚至是漫画、梗图，以GPT-4为代表的多模态大模型非常强大。多模态大模型就是指模型可以处理多种结构/类型的数据，例如GPT-4，它既可以处理你输入的文本，也可以处理你上传的图片。
一、简介 随着网络的发展，多模态数据（文本、图片、语单、视频等）越来越多，如何从大数据中挖掘出知识显得越来越重要。网络存储的数据种类繁多，有文本、图片、语音、视频等，如何将这些信息关联起来，更好地理解数据并从中挖掘知识非常关键。其中，图片与文本的匹配模型，研究得越来越多[1-4]。图文匹配模型对于其它多模态领域（包括：Image caption、Image synthesis、VQA等，图1）有着非常大的帮助，因为它可以计算图片与文本之间的相似度。 图1【图文匹配模型对于多模态领域的重要
在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如时序问题，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。这个时候，我们怎么办呢？下面有两种解决方案
上一篇【论文】Awesome Relation Extraction Paper（关系抽取）（PART I）介绍了一些关系抽取和关系分类方面的经典论文，主要是以CNN模型为主，今天我们来看看其他模型的表现吧~
本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。
Transformer 在 NLP 领域取得了进化性的进步，这已不是什么秘密。基于 Transformer，还发展出了许多其他机器学习模型。其中之一是 BERT，它主要由几个堆叠的 Transformer 编码器组成。除了用于一系列不同的问题（例如情感分析或问答）之外，BERT 在构建词嵌入（表示单词语义的数字向量）方面变得越来越流行。
最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。
https://www.cnblogs.com/the-wolf-sky/articles/10192363.html
本文分享 ACL 2021 论文『UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning』，由百度提出统一模态的预训练框架《UNIMO》、用不匹配的图文对也能进行多模态预训练？
今年一月开始，我一直在从事一个从非结构化的文本中提取信息的项目。在开始这个项目之前，我对自然语言处理（NLP）领域一无所知。当我刚开始研究这个领域时，我很快就找了一本名为「Python 自然语言处理」的书（图书查阅地址：https://www.nltk.org/book/）。这本书对于我来说过于理论化了，但其中的知识基本是正确的，因此它对我来说仍然是无价的资源。接下来，我发现了 Dipanjan Sarkar 编写的「Python 文本分析」（图书查阅地址：https://www.apress.com/gp/book/9781484243534），并从头到尾通读了此书。这本书真的太棒了，它教会了我入门 NLP 项目所需的所有技术技能。最近，此书的第二版（https://www.apress.com/gp/book/9781484243534）也面世了，对上个版本进行了大量的扩充。
人类经过漫长的历史发展，在世界各地形成了很多不同的语言分支，其中汉藏语系和印欧语系是使用人数最多的两支。英语是印欧语系的代表，而汉语则是汉藏语系的代表。中英文语言的差异十分鲜明，英语以表音（字音）构成，汉语以表义（字形）构成，印欧和汉藏两大语系有很大的区别。
Transformer 是为解决序列转换或问题而设计的架构，该任务将一个输入序列转化为一个输出序列。 语音识别、文本转语音等问题都属于这类任务。
机器之心专栏 作者：触宝AI实验室Senior Engineer陈崇琛 在本文中，来自触宝科技的工程师介绍了如何在传统的解析算法中用上深度学习的技术。在实践中，深度学习减少了数据工程师大量的编码特征的时间，而且效果比人工提取特征好很多。在解析算法中应用神经网络是一个非常有前景的方向。 解析用户的真实意图 人类语言与计算机语言不同，人类的语言是没有结构的，即使存在一些语法规则，这些规则往往也充满着歧义。在有大量用户输入语料的情况下，我们需要根据用户的输入，分析用户的意图。比如我们想看看一个用户有没有购买某商品
今天带来的这篇文章，详细的讲解了 BERT 以及和其他模型之间的区别。由深思考人工智能（iDeepWise Artificial Intelligence）投稿。
教程地址：http://www.showmeai.tech/tutorials/36
雷锋网 AI 科技评论按：本文的作者是张俊林老师，他是中国中文信息学会理事，中科院软件所博士，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林老师曾在阿里巴巴任资深技术专家并负责新技术团队，也曾在百度和用友担任技术经理及技术总监等职务。同时他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。本文首发于知乎（https://zhuanlan.zhihu.com/p/54743941），经作者许可，雷锋网 AI 科技评论进行转载。
情感分析是一种常见的自然语言处理（NLP）方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。 最简单的情感分析方法是利用词语的正负属性来判定。句子中的每个单词都有一个得分，乐观的单词得分为 +1，悲观的单词则为 -1。然后我们对句子中所有单词得分进行加总求和得到一个最终的情
在前文当中，我们介绍了搜索引擎的大致原理。有错过或者不熟悉的同学，可以点击下方的链接回顾一下前文的内容。
自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。
文章摘要是一个简短的段落，其中包含要点，并以文章本身使用的词语来表达。通常，我们仅提取那些我们认为最重要的要素/句子，这些要素/句子通常传达主要思想或必要的支撑点。
本文简要介绍一些最常用的机器学习算法，没有代码，没有抽象理论，只有图片和一些如何使用它们的例子。
下面要介绍的论文选自AAAI 2020，题目为：「Attendingto Entities for Better Text Understanding」，axriv地址为：https://arxiv.org/abs/1911.04361。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
