词向量综述

词向量综述

one-hot

一个词的meaning指的是:the idea that is represented by a word, phase, etc.

计算机表达一个词的meaning,是通过把词性、词义相同的词构成一个集合来实现的。典型的例子是WordNet

通过集合表达词性有如下缺点:

  • 同义词区分不明显:adept、expert、good、prooficient虽然大致含义相同,但是使用的上下文是不同的,不可以把它们当成完全一样的。
  • 过时性:新的词不可以及时更新
  • 主观性
  • 需要人力去创造词典集合
  • 较难计算词之间的相似度

具体地,词在计算机中是以[0,1,0,0…]的向量表示的,该词对应的index的值为1,其他为0。这样做简单方便,可是缺点也很明显:

  • 占用空间大
  • 两个相近词的交集为0,距离很远

by neighbor

You shall know a world by the company it keeps. Similar words appear in similar contexts.

这个方法的核心是认为相近的词的上下文也是相近的。识别词的上下文又有两种做法:

  • 基于全文档:词-文档的co-occurrence matrix可以把词划分为不同的主题,延伸的有Latent Semantic Analysis
  • 基于window:基于全文档的只可以反映语义信息,基于window的可以反映语义和语法信息,例如CBOWSkip-Gram

基于全文档的词向量

  • word count matrix
  • tf-idf matrix
  • LSA

基于window的词向量

一般来说,基于window的词向量有以下特点:

  • window长为5-10
  • 对称性,不区分左边右边
  • 一些功能词(the,he,she)出现的太频繁,影响较大。解决办法一是设定max_count,二是把这些词忽略掉
  • window的时候考虑远近,加以不同的权重
  • 使用pearson相关系数代替count

选择window为1,例子如下:

上图中,like和enjoy的相似度就很高,通过co-occurrence matrix确实可以构建反映词语义的词向量。

SVD

上面的co-occurrence matrix词向量的维度是词汇库的维度,向量太长。可以通过SVD降维得到维度较低的词向量。

SVD的缺点如下:

  • 计算复杂度太高
  • 新的词或者文档来的时候还要重新计算

Skip-Gram

与其计算co-occurrence matrix,不如直接学习词向量。这样学的更快,而且当新的句子或者文档来的时候也能适应。

结构

单词都是ont-hot编码,单词长度为V。

学习算法

损失函数如下:

优化角度

改进

针对skip-gram有以下改进策略:

  • Treating common word pairs or phrases as single “words” in their model.
  • Subsampling frequent words to decrease the number of training examples.
  • Modifying the optimization objective with a technique they called “Negative Sampling”, which causes each training sample to update only a small percentage of the model’s weights.

word pair

常见的词语Boston Globe与单个词语BostonGlobe有着不同的含义,所以应该额外认为是一个词。

sub-sampling frequent words

对于常出现的单词the,有下面两个问题:

  • 当看一个单词对 (fox,the)的时候,这个单词对并没有告诉我们太多关于fox的信息,因为the出现的频率太高了。
  • 学习the的词向量,需要的样本远低于实际的样本。

通过subsampling可以解决上面的问题,其思路是:对于文档中遇到的每一个词,都有一定的概率把这个词从文档中删除。删除的概率和词频成正比。

negative sampling

在神经网络的训练中,通过输入训练样本,计算损失函数,反馈梯度更新网络的所有权重。也就是说,每一次训练都更改了网络的所有权重。

在skip-gram模型中,网络参数是很大的,训练数据也很大,每一次训练更新的都很多,速度较慢。

negative sampling,使每个训练样本只更新网络的一部分参数。

  • 随机挑选部分negative words进行训练(挑选的概率与词频成正比),对于小的数据集5-20即可;大的数据集2-5即可。
  • 更新隐含层到输出层的权重时,只更新positive word和negative word连接的权值即可。更新输入层到隐含层的权重时,只有输入数据对应的权重被更新(用不用negative sampling都这样)。

Continuous BOW

结构

输入输出

单词都是ont-hot编码,单词长度为VV。

算法

计算forward pass的时候,隐含层的计算方法如下:

Count VS Prediction

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏刘笑江的专栏

Reinforce Learning

1436
来自专栏大数据挖掘DT机器学习

一次完整的机器学习过程:cikit-learn 包学习

1、学习任务(一个二分类问题): 假设现在有一个O2O领域的垂直搜索引擎,专门为用户提供团购、优惠券的检索;同时存在一个通用的搜索引擎,比如百度,通用搜索引擎...

3665
来自专栏星回的实验室

推荐系统从0到1[三]:排序模型

前文中,我们根据不同召回策略召回了一批文章,并统一根据文章质量排序输出。但实际上,用户的阅读兴趣还会受到很多其他因素的影响。比如用户所处的网络环境,文章点击率、...

1334
来自专栏数说工作室

留一交叉验证及SAS代码

在数据量很少,用什么模型?(点击查看)中,我们总结过当数据量很少时如何选择模型和方法,以使得数据能够最大限度的得到利用。 其中有一个方法就是做交叉验证。 我有备...

3346
来自专栏云时之间

NLP系列学习:生成型模型和判别型模型

在学习机器学习的过程中我们总会遇见一些模型,而其中的一些模型其实可以归类于生成模型或者是判别模型中去,而这一篇文章我将会简单的概述下我最近所遇到的一些模型,并且...

30810
来自专栏人工智能头条

中文NLP用什么?中文自然语言处理的完整机器处理流程

人工智能头条早先发布的文章《用 Python 构建 NLP Pipeline,从思路到具体代码,这篇文章一次性都讲到了》,是基于英文来举例的。

2945
来自专栏PaddlePaddle

卷积神经网络的压缩

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分,本次将介绍卷积神经网络压缩的具体途径

802
来自专栏大数据挖掘DT机器学习

达观数据NLP技术的应用实践和案例分析

达观文本挖掘系统整体方案 达观文本挖掘系统整体方案包含了NLP处理的各个环节,从处理的文本粒度上来分,可以分为篇章级应用、短串级应用和词汇级应用。 篇章级应用有...

38111
来自专栏人工智能头条

特征选择算法在微博应用中的演进历程

1463
来自专栏用户3246163的专栏

2.4 估值和模拟

Exponentially weighted moving average(指数加权移动平均)

963

扫码关注云+社区