词嵌入是一种将单词和短语映射到实数向量上的语言建模技术，是自然语言处理的基础部分。这就是机器学习模型如何“学习”语境相似性和词语接近的重要性，以及它们如何最终从文本中提取意义。只有一个问题：数据集往往表现出性别刻板印象和其他偏见。可以预见的是，在这些数据集上接受训练的模型会发现甚至放大这些偏见。
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/83029140
随着强大的模型越来越容易访问，我们可以轻松地利用深度学习的一些力量，而不必优化神经网络或使用GPU。
之前我们介绍了两种表示词向量的方法：「基于数量」的矩阵分解方法（HAL & LSA）和「基于窗口」的概率方法（word2vec）。第二种方法明显优于第一种，但其只考虑了一个较小窗口内的词语信息，没有利用好全局的词语共现数据。
词向量的表示可以分成两个大类1：基于统计方法例如共现矩阵、奇异值分解SVD；2：基于语言模型例如神经网络语言模型(NNLM)、word2vector(CBOW、skip-gram)、GloVe、ELMo。 word2vector中的skip-gram模型是利用类似于自动编码的器网络以中心词的one-hot表示作为输入来预测这个中心词环境中某一个词的one-hot表示，即先将中心词one-hot表示编码然后解码成环境中某个词的one-hot表示(多分类模型，损失函数用交叉熵)。CBOW是反过来的，分别用环境中的每一个词去预测中心词。尽管word2vector在学习词与词间的关系上有了大进步，但是它有很明显的缺点：只能利用一定窗长的上下文环境，即利用局部信息，没法利用整个语料库的全局信息。鉴于此，斯坦福的GloVe诞生了，它的全称是global vector，很明显它是要改进word2vector，成功利用语料库的全局信息。
将词语表示为向量的技术并不是最近几年的新思想。例如向量空间模型将词表示为词典维度的高维向量。这种表示带来的问题主要包括两个方面。一方面词与词之间相互独立，无法表达词语之间的关系。另一方面向量过于稀疏，计算和存储的效率都不高。
摘要 1.引言 2.相关工作 3.The GloVe Model 4.实验 4.1评估方法 4.2语料库和训练细节
可以很明显地看到该向量非常稀疏。常见的解决办法有两种：一是使用稀疏矩阵更新运算来更新矩阵\(U,V\)的特定的列向量。二是使用哈希来更新，即key为word string，value是对应的列向量。
本文为 AI 研习社社区用户 @Dendi 独家投稿内容，欢迎扫描底部社区名片访问 @Dendi 的主页，查看更多内容。
教程地址：http://www.showmeai.tech/tutorials/36
自然语言处理（Natural Language Processing，NLP）是指帮助机器理解和分析自然语言；它是利用机器学习算法从数据中提取所需信息的一个自动化的过程。
准备好中文语料：中文语料库，或者使用Leavingseason准备好的语料进行训练：http://pan.baidu.com/s/1jHZCvvo
本次文章将主要介绍Glove模型，首先会从模型的公式开始，然后解析模型构建分析，最后与跳字模型（Skip-Gram）、连续词袋模型（CWOB）做对比。
文本嵌入，也称为词嵌入，是文本数据的高维、密集向量表示，可以测量不同文本之间的语义和句法相似性。它们通常是通过在大量文本数据上训练 Word2Vec、GloVe 或 BERT 等机器学习模型来创建的。这些模型能够捕获单词和短语之间的复杂关系，包括语义、上下文，甚至语法的某些方面。这些嵌入可用于语义搜索等任务，其中文本片段根据含义或上下文的相似性进行排名，以及其他自然语言处理任务，如情感分析、文本分类和机器翻译。
本文介绍的是 ACL 2020 论文《Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation》，论文作者来自弗吉尼亚大学、salesforce。
1950年，艾伦·图灵（Alan Turing）发表了一篇题为“ 计算机机械与智能（Computing Machinery and Intelligence） ” 的文章，提出了著名的“图灵测试（Turing Test）”。这当中涉及了自动解释和自然语言的生成，作为判断智能的条件，这就是自然语言处理（Natural Language Processing，NLP）发展的开端。
就拿今天看到的一位同学来说，nlp的薪资给到了39k，14薪。如果再加上七七八八，年包能到60~70w。
word2vec（W2V）这类神经网络生成的词嵌入以其近似线性的特性而闻名，比如「女人之于王后就像男人之于国王」这种类比嵌入，描述了一种近似平行四边形的结构。
词嵌入（Word embeddings）是一种单词的表示形式，它允许意义相似的单词具有类似的表示形式。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
一、文本表示和各词向量间的对比 1、文本表示哪些方法？ 2、怎么从语言模型理解词向量？怎么理解分布式假设？ 3、传统的词向量有什么问题？怎么解决？各种词向量的特点是什么？ 4、word2vec和NNLM对比有什么区别？（word2vec vs NNLM） 5、word2vec和fastText对比有什么区别？（word2vec vs fastText） 6、glove和word2vec、 LSA对比有什么区别？（word2vec vs glove vs LSA） 7、 elmo、GPT、bert三者之间有什么区别？（elmo vs GPT vs bert）
为了处理语言，需要将文本信息用向量的形式表达。词向量（Word Vector）或称为词嵌入（Word Embedding）就是将词语向量化。常见的生成词向量的神经网络模型有NNLM模型,C&W模型,CBOW模型和Skip-gram模型。
TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa
AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
雷锋网 AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
来源：DeepHub IMBA本文约1000字，建议阅读5分钟本片文章将对词嵌入的模型做一个完整的总结。 TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa 词嵌入在深度模型中的作用是为下游任务(如序列标记和文本分类)提供输入特征。在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结。 与上下文无关 这类模型学习到的表征的特点是，在不考虑单词上下文的情况下，每个单词都是独特的和不同的。 不需要学
AI 科技评论按：在近些年的自然语言处理研究中，「词类比」是一个十分有趣的现象，最经典的例子莫过于「国王-男人+女人=皇后」。然而，如何将神经网路的黑盒拆开从而解释这一神奇的现象，一直都是有待探索的有趣的科学问题。近日，ACL 2019 上一篇名为「Towards Understanding Linear Word Analogies」（https://arxiv.org/abs/1810.04882）的论文对该问题进行了探究，从 csPMI 理论的角度对此进行了解释。
词向量（Word Vector）或词嵌入（Word Embedding）是自然语言处理（NLP）中的一项基础技术，它允许我们将自然语言中的词汇表示为实数向量。这些向量通常存在于一个高维空间内，其中每一个维度都可能代表着某种语义属性。通过这种转换，机器学习模型可以捕捉到词语之间复杂的关系，如语义相似性、反义、上下位关系等。
正如GloVe论文的标题而言，**GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similarity）、类比性（analogy）等。**我们通过对向量的运算，比如欧几里得距离或者cosine相似度，可以计算出两个单词之间的语义相似性。
在我们做一个项目或业务之前，需要了解为什么要做它，比如为什么要做文本分类？项目开发需要，还是文本类数据值得挖掘。
设共现矩阵为X，其元素为 X i , j X_{i,j} Xi,j。 X i , j X_{i,j} Xi,j的意义为：在整个语料库中，单词i和单词j共同出现在一个窗口中的次数。 举个栗子： 设有语料库：
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/83041424
注意：如果您正在查找调查报告，此博客文章也可作为arXiv上的一篇文章。
选自Medium 作者：Kevin Yang 机器之心编译 参与：路雪 最近，我一直在研究在 GloVe 词嵌入中做加减法。例如，我们可以把「king」的词嵌入向量减去「man」的词嵌入向量，随后加入「woman」的词嵌入得到一个结果向量。随后，如果我们有这些词嵌入对应的语料库，那么我们可以通过搜索找到最相似的嵌入并检索相应的词。如果我们做了这样的查询，我们会得到： 我们有很多方法来搜索语料库中词嵌入对作为最近邻查询方式。绝对可以确保找到最优向量的方式是遍历你的语料库，比较每个对与查询需求的相似程度——这当
文本已成为最常见的表达形式之一。我们每天都要发送电子邮件、短信、推文、更新状态。因此，非结构化文本数据变得非常普遍，分析大量文本数据现在是了解人们的想法的关键方法。
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。
今天学的论文是斯坦福大学 2014 年的工作《GloVe: Global Vectors for Word Representation》，在当时有两种主流的 Word Embedding 方式，一种是矩阵分解，类似 LSA；另一种是 13 年提出的 Word2Vec，基于滑动窗口的浅层神经网络。前者的优点是利用了全局的统计信息（共现矩阵），后者的优点是计算简单且效果好 = =，但缺点是没利用全局的统计信息。所以这篇论文的主要工作是想综合两者的优点。
A System for Automated Image Editing from Natural Language Commands
当前许多情感分类在产品或电影评论数据集中获得了很高的分数，但是在金融领域中，这些方法的性能却大大落后。 出现这种差距的原因是行业专用语言表达，它降低了现有模型的适用性，并且缺乏高质量的标记数据来学习特定领域的积极和消极的新上下文。在没有大量训练数据集的情况下，迁移学习可以成功地适应新领域。本文探讨了NLP迁移学习在金融情感分类中的有效性。本文提出了一个基于BERT的语言模型FinBERT，它将一个金融情绪分类任务在FinancialPhrasebank数据集中的最新性能提高了14个百分点。
SimpleAI 【HelloNLP】系列笔记，主要参考各知名网课（Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等），并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠！
恩恩，关注我好了 1. 自然语言处理（NLP）的常见任务 先来看看在工业界对于自然语言处理的一些常见需求与任务。 自动摘要 这个在搜索引擎中非常常用。指计算机能自动去阅读一篇文章然后去提取这篇文章的摘要。 指代消解 比如“小明放学了，妈妈去接他”这句话中的“他”指代为“小明”。这个计算机本身并不知道，而我们希望计算机能自己去识别这些指代的对象。 机器翻译 这个非常熟悉，比如中英文的互相翻译。我们希望计算机能自动地将一种语言翻译成另一种语言。 词性标注 即计算机能自动去标注出每个词的词性（动词，形容词
课程主页： http://web.stanford.edu/class/cs224n/
在本节中，您将在自然语言处理（NLP）的背景下了解 PyTorch 1.x 的基本概念。 您还将学习如何在计算机上安装 PyTorch 1.x，以及如何使用 CUDA 加快处理速度。
选自Medium 作者：Kevin Yang 机器之心编译 参与：路雪 最近，我一直在研究在 GloVe 词嵌入中做加减法。例如，我们可以把「king」的词嵌入向量减去「man」的词嵌入向量，随后加入「woman」的词嵌入得到一个结果向量。随后，如果我们有这些词嵌入对应的语料库，那么我们可以通过搜索找到最相似的嵌入并检索相应的词。如果我们做了这样的查询，我们会得到： King + (Woman - Man) = Queen 我们有很多方法来搜索语料库中词嵌入对作为最近邻查询方式。绝对可以确保找到最优向量的方
本文来源：52nlp 斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程：CS224d: Deep Learning for Natural Language Processing，授课老师是青年才俊Richard Socher，以下为相关的课程笔记。 第二讲：简单的词向量表示：word2vec,Glove(Simple Word Vector representations: word2vec, GloVe) 推荐阅读材料： Paper1：[Distributed Representations
本文介绍了DeepLearning4J和Deeplearning4j的代码示例，以及使用Maven构建和运行DeepLearning4J和Deeplearning4j代码的步骤。实验包括一个简单的多层感知器（MLP）神经网络，用于解决手写数字问题，以及一个基于文本的Word2Vec模型，用于将单词映射到向量空间。这些示例展示了如何使用DeepLearning4J和Deeplearning4j库在Java中进行深度学习，并展示了如何使用Maven构建和运行这些代码。
【导读】本文用简洁易懂的语言，讲述了自然语言处理（NLP）的前世今生。从什么是NLP到为什么要学习NLP，再到如何利用机器学习进行NLP，值得一读。这是该系列的第一部分，介绍了三种NLP技术：文本嵌入
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
领取专属 10元无门槛券
手把手带您无忧上云
