作者 | Dipanjan (DJ) Sarkar 编译 | 姗姗 出品 | 人工智能头条（公众号ID：AI_Thinker） 【人工智能头条导读】在研究和处理自然语言处理的很多问题时，除了关注各种各样基础的数据，高级的深度学习模型、算法外，其实中间还涉及了很多处理技术，比如：词干提取、词形还原、句法分析、语义分析等，虽然不同的语言特征不同，但是这其中大部分步骤都是存在于大多数NLP领域任务中的。今天特别为大家准备了一篇包含NLP重要技术概念学习和实践的文章，希望无论是基础数据、技术理论还是代码实践大家都可
在本文中，我们将讨论一个linux命令，该命令在Linux中进行搜索非常有用。那就是“ grep”命令。我们可以使用grep搜索文件中的文本模式，另一方面，可以使用find命令在linux OS中搜索文件。除此之外，我们还可以使用grep命令过滤搜索结果以捕获特定的文本字符串、单词或数字。这个命令对于Linux操作系统中的日常任务非常有用。
本文分享论文『KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation』，由上科大&Intel&MSRA联合提出基于知识蒸馏的端到端多模态预训练模型《KD-VLP》。
在我之前的文章中，我介绍了使用 Python 和 TFIDF 从文本中提取关键词，TFIDF 方法依赖于语料库统计来对提取的关键字进行加权，因此它的缺点之一是不能应用于单个文本。
原文地址：https://dzone.com/articles/applying-nlp-to-decode-an-indian-classical-movie-s
Embedding 技术是一种将高维数据映射到低维空间的方法，通常用于将离散的、非连续的数据转换为连续的向量表示，以便于计算机进行处理。这种技术广泛用于自然语言处理（NLP）、图像处理、推荐系统和其他机器学习应用中，以方便大语言模型处理输入数据。
句法分析（Syntactic Parsing）是自然语言处理（NLP）中一个关键且不可或缺的任务。如果我们把自然语言看作一个庞大的建筑，那么句法分析就好比这座建筑的蓝图。正是因为有了这份蓝图，人们才能理解语言的结构，从而更准确地进行语义分析、情感分析或者机器翻译等高级任务。
本系列为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》的全套学习笔记，对应的课程视频可以在 这里 查看。
这份文档是Google Java编程风格规范的完整定义。当且仅当一个Java源文件符合此文档中的规则，我们才认为它符合Google的Java编程风格。
教程地址：http://www.showmeai.tech/tutorials/36
上半周，我们发布了 Android 9 Pie，这是 Android 的最新版本，它的机器学习应用使您的手机更简单易用。 Android 9 中有一项功能是 Smart Linkify，这是一种新的 API，可在文本中检测到某些类型的实体时添加可点击链接。 这个功能很有用，例如，当您从朋友的消息传递 app 中收到一个地址，想要在地图上查找时，如果使用 Smart Linkify-annotated 文本，它就变得容易多了！
这篇word2vec教程2中（教程1 Word2Vec教程-Skip-Gram模型），作者主要讲述了skip-gram 模型优化的策略-Negative Sampling，使得模型更加快速地训练。通过教程1，我们了解到word2vec它是一个庞大的神经忘网络！ 例如，有一个包含10000个单词的词汇表，向量特征为300维，我们记得这个神经网络将会有两个weights矩阵----一个隐藏层和一个输出层。这两层都会有一个300x10000=3000000的weight矩阵。 在如此大的神经网络上进行梯度下
如果让你来设计一个算法来分析以下段落，你会怎么做？ Emma knocked on the door. No answer. She knocked again and waited. There was a large maple tree next to the house. Emma looked up the tree and saw a giant raven perched at the treetop. Under the afternoon sun, the raven gleamed ma
在Bill Watterson 1993年写的一篇报纸漫画中（Calvin and Hobbes），男孩Calvin对他的朋友Hobbes说：“奇怪的语言（Verbing weirds language）”。事实是，Hobbes (一只由Calvin的想象力制作成动画的毛绒老虎)理解这句话没有问题，读者当然也能理解这句话（这句话将形容词词做动词用了）。语言使用者经常处理人类语言的抽象问题，无论是将形容词变成动词（如连环画中的使用），是从陈述句中提出问题（比如：“你敢打我”是陈述句，但可以用疑问语气变成问句），还是从“昨天我在睡衣里看到一头大象”这句话中理解到双重含义。从实际使用看，人类的语言能力依赖于一系列复杂的抽象功能来理解这些模式：它们从语音特征到句法范畴都是抽象的。与其他认知能力一样，这些语言抽象功能在语言使用者的具体实践中被实例化。
下面的鱼骨图就是个人整理的NLP相关的一个学习路线，某种意义上可以理解为一个知识体系，本文将尽量结合示例简单的去描述一下这些基本概念。
全文搜索（FTS）是搜索引擎用于在数据库中查找结果的技术。您可以使用它来为商店、搜索引擎、报纸等网站上的搜索结果提供支持。
在本教程中，我将展示如何在Tensorflow中实现一个Word2Vec（Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理中）的skip-gram模型，为你正在使用的任何文本生成词向量，然后使用Tensorboard将它们可视化。 我在text8数据集上训练了一个skip-gram模型。然后，我用Tensorboard来设想这些Embedding，Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个
倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。
从数学角度讲，特征工程就是将原始数据空间变换到新的特征空间，或者说是换一种数据的表达方式，在新的特征空间中，模型能够更好地学习数据的规律。
在我们的生产环境中,有一个模糊检索的文档框,但是当数据量级别上去之后,频繁对数据库造成压力,所以想使用Full Text全文索引进行优化 下面是一个总结的简单案例
今天为大家解读的是由京东硅谷研发中心首席科学家吴凌飞博士等研究者最新发表的GNN for NLP综述，几乎覆盖了围绕NLP任务的所有GNN相关技术，是迄今为止GNN for NLP领域最全面最新的综述性文献。
本文基于 NLP 的基础知识，全方位介绍了 NLP 随着深度学习和神经网络的应用所取得的进展。
原文：google.github.io/styleguide/javaguide.html 译者：Hawstein
这份文档是Google Java编程风格规范的完整定义。当且仅当一个Java源文件符合此文档中的规则， 我们才认为它符合Google的Java编程风格。
在1990年初，在IBM研究中心，一个机器翻译系统首次被展示，它对规则和语言学一无所知。它用两种语言分析了下图中的文本，并试图理解这些模式。
Markdown 是一种轻量级的标记语言，可用于在纯文本文档中添加格式化元素。Markdown 由 John Gruber 于 2004 年创建。它使用易读易写的纯文本格式编写文档，可与HTML混编，可导出 HTML、PDF 以及本身的 .md 格式的文件。因简洁、高效、易读、易写，Markdown被大量使用。
有时候，可能有一组数据，需要删除特定文本字符串之前的所有文本。例如，下图1所示的数据中包含员工的姓名和电话号码。
原文地址点这里！https://towardsdatascience.com/introduction-to-nlp-5bff2b2a7170 自然语言处理（NLP）是计算机科学和人工智能的一个研究领域，它的主要关注点就是人和计算机之间对于自然语言的理解。NLP的终极目标就是能够让计算机对自然语言的理解能力和人一样。这些研究推动了很多项目，诸如虚拟助手，语音识别，情感分析，自动摘要，机器翻译等等一些内容。在本文中，你将学到自然语言处理的基础内容，探索它的技术，并了解前沿科技深度学习是如何对NLP起到助力作用的。
本文讨论了使用PySpark实现词频-逆文档频率（TF-IDF）加权对客户漏斗中的事件进行特征构建，以便为机器学习预测购买提供支持。
在 Linux 系统中，Grep 是一个强大的文本搜索工具，它允许您通过正则表达式来匹配和搜索文本模式。正则表达式是一种强大的模式匹配语言，它可以帮助您在文本文件中快速定位和提取特定模式的内容。本文将详细介绍如何在 Linux 中使用 Grep 和正则表达式进行文本搜索。
中将介绍一个流行的机器学习项目——文本生成器，你将了解如何构建文本生成器，并了解如何实现马尔可夫链以实现更快的预测模型。
The Art of Asking ChatGPT for High-Quality Answers: A Complete Guide to Prompt Engineering Techniques
文本数据通常是由表示单词、句子，或者段落的文本流组成。由于文本数据非结构化（并不是整齐的格式化的数据表格）的特征和充满噪声的本质，很难直接将机器学习方法应用在原始文本数据中。在本文中，我们将通过实践的方法，探索从文本数据提取出有意义的特征的一些普遍且有效的策略，提取出的特征极易用来构建机器学习或深度学习模型。 研究动机 想要构建性能优良的机器学习模型，特征工程必不可少。有时候，可能只需要一个优秀的特征，你就能赢得 Kaggle 挑战赛的胜利！对于非结构化的文本数据来说，特征工程更加重要，因为我们需要将文
自然语言处理（NLP）包含一系列技术，用以实现诸多不同的目标。下表中列出了解决某些特定问题对应的技术。
腾讯开源了一个语料库，为超过800万个汉语词汇提供了200维向量表征，即嵌入，这些词汇是在大规模高质量数据上预先训练的。这些向量捕获中文单词和短语的语义含义，可以广泛应用于许多下游中文处理任务（例如，命名实体识别和文本分类）以及进一步的研究中。
场景描述：机器翻译是自然语言处理领域的一个重要应用，从它最初的诞生到现在，已经过去了 60 多年，但在一些小问题上，还是会出现令人啼笑皆非的情况。机器翻译是如何一步步发展来的？它背后的的机理是什么样子？它的局限性又是怎么一回事呢？
本文介绍了LSF-SCNN模型在短文本分类和答案选择问题上的应用。首先，作者介绍了模型的基本原理和结构，然后详细阐述了模型在两个数据集上的实验结果。实验结果表明，模型在两个数据集上均获得了较高的准确率，在答案选择问题上表现尤为突出。
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！
要创建标题，请在单词或短语前面添加井号 (#) 。# 的数量代表了标题的级别。例如，添加三个 # 表示创建一个三级标题 () (例如：### My Header)。
搜索引擎匹配查询到它们创建的索引上。这个索引包含每个文档的单词，和能指向文儿当地址的指针。这被叫做倒排索引文件【 inverted file】。一个搜索引擎或者IR系统包括四个基本的模块：
翻译 | 刘朋 Noddleslee 程思婕 余杭 整理 | 凡江
引言 在离人工智能越来越近的今天，研究界和工业界对神经网络和深度学习的兴趣也越来越浓，期待也越来越高。 我们在深度学习与计算机视觉专栏中看过计算机通过卷积神经网络学会了识别图片的内容——模仿人类的看，而工业界大量的应用也证明了神经网络能让计算机学会听（比如百度的语音识别），于是大量的精力开始投向NLP领域，让计算机学会写也一定是非常有意思的事情，试想一下，如果计算机通过读韩寒和小四的小说，就能写出有一样的调调的文字，这是多带劲的一件事啊。 你还别说，还真有这么一类神经网络，能够在NLP上发挥巨大的
编者按：在过去的一段时间，自然语言处理领域取得了许多重要的进展，Transformer、BERT、无监督机器翻译，这些词汇仿佛在一夜之间就进入了人们的视野。你知道它们具体都是什么意思吗？今天，我们就将为大家介绍三个NLP领域的热门词汇。
本篇是笔者刚刚入门所写，那么在阅读CIPS2016之后，根据里面的内容重新梳理了一遍，从CIPS2016里面相关内容来看，笔者本篇内容所写的，总结的还是很全面的，当时写的时候才入门NLP一个月，还是棒棒哒~让我傲娇一下，新博客链接：
在过去的一年里，大语言模型（LLM）以及ChatGPT等产品吸引了全世界的想象力，并推动了一波基于它们的新功能浪潮。向量和向量搜索的概念是支持推荐、问答、图像/视频搜索等功能的核心。
机器翻译是一项具有挑战性的任务，包含一些使用高度复杂的语言知识开发的大型统计模型。 神经机器翻译的工作原理是——利用深层神经网络来解决机器翻译问题。 在本教程中，你将了解如何开发一个神经机器翻译系统，
明确对象描述的生成与解读 摘要 本文提出了一个可以生成针对图片中特定目标或区域明确描述（指代表达）的方法，这个方法也能理解或解释这一指代表达，进而推断出正确的被描述的目标。以前的方法并没有将情景中的其他潜在模糊目标考虑在内，本文展示了我们所提出的办法比以前的生成目标描述方法要优秀。我们模型灵感源自近期深度学习在图像标注问题上的成功，虽然很难对图片标注进行评估，但是我们的任务能够做到轻松实现目标评估。我们也提出了基于MSCOCO的一个新的用于指代表达的大规模数据集。这个数据集和工具集可以用于可视化和评估，我们
Transformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意力（Self-attention）机制，在任务表现、并行能力和易于训练性方面都有大幅的提高。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
