【干货】NLP中“词袋”模型和词嵌入模型的比较(附代码)

【导读】词袋模型和词向量表示是自然语言处理中最常用的特征表示方法,但这两种方法各适用于哪些不同的任务,有什么区别,作者Edward Ma详细讲解了这两类使用技巧。什么情况下词袋模型比词嵌入更具优势,值得大家学习和收藏!

作者 | Edward Ma

编译 | 专知

翻译 | Mandy

3 basic approaches in Bag of Words which are better than Word Embeddings

现如今大家都在讨论词(或字符、句子、文档)嵌入技术,词袋模型还有使用的价值吗?我们需要在任何场景中都使用词嵌入吗?

读完这篇博文,你将会知道:

• 为什么人们说词嵌入可以直接而轻松地解决问题?

• 什么情况下词袋模型比词嵌入更具优势?

• 词袋模型中的三种基本方法

• 我们如何通过几行代码就可以建立词袋模型?

一. 为什么词嵌入可以直接而轻松地解决问题?



在最近的NLP领域中,嵌入技术(Embedding)是解决文本相关问题的成功方法,并且其效果优于词袋模型(BoW)。确实,词袋模型在应用上是有一些限制的,比如巨大的特征维数,稀疏表示等等,词嵌入可以很好地解决这些问题。

那么,我们是否还需要词袋模型呢?实际上,在某些情况下,词袋模型会表现地更好。

二. 何时词袋模型比词嵌入更具优势?



在以下情况下,您更倾向使用词袋模型而不是词嵌入:

1. 建立一个基线(baseline)模型。通过使用scikit-learn,只需要几行代码就可以构建模型。之后可以用深度学习的方法来改进它。

2. 如果你的数据集很小并且上下文是特定领域的,那么词袋模型会比词嵌入更有效。上下文是非常特定的领域,这意味着你无法从预先训练好的词嵌入模型(比如GloVe, fastText等)中找到相应的向量。

三. 我们如何通过几行代码就可以建立词袋模型?



通过使用传统的机器学习库,有三种简单的方式可以构建词袋模型。

1. Count Occurrence

计算单词出现的次数。使用这种方法的原因是关键字或重要信息会反复出现。所以如果出现的次数代表了单词的重要性。更高的频率意味着更高的重要性。

doc = "In the-state-of-art ofthe NLP field, Embedding is the \

success way to resolve text relatedproblem and outperform \

Bag of Words ( BoW ). Indeed, BoWintroduced limitations \

large feature dimension, sparserepresentation etc."

count_vec = CountVectorizer()

count_occurs =count_vec.fit_transform([doc])

count_occur_df = pd.DataFrame(

   (count, word) for word, count in

    zip(count_occurs.toarray().tolist()[0],

   count_vec.get_feature_names()))

count_occur_df.columns = ['Word','Count']

count_occur_df.sort_values('Count',ascending=False, inplace=True)

count_occur_df.head()

输出结果:

Word: "of", Occurrence: 3

Word: "bow", Occurrence: 2

Word: "way", Occurrence: 1

2. Normalized Count Occurrence

如果你认为一些出现频率极高的词可能会影响结果并导致模型偏差。运用归一化(Normalization)可以解决这个问题。

doc = "In the-state-of-art ofthe NLP field, Embedding is the \

success way to resolve text relatedproblem and outperform \

Bag of Words ( BoW ). Indeed, BoWintroduced limitations \

large feature dimension, sparserepresentation etc."

norm_count_vec = TfidfVectorizer(use_idf=False,norm='l2')

norm_count_occurs =norm_count_vec.fit_transform([doc])

norm_count_occur_df = pd.DataFrame(

   (count, word) for word, count in zip(

   norm_count_occurs.toarray().tolist()[0],

   norm_count_vec.get_feature_names()))

norm_count_occur_df.columns =['Word', 'Count']

norm_count_occur_df.sort_values(

   'Count', ascending=False, inplace=True)

norm_count_occur_df.head()

输出结果:

Word: "of", Occurrence:0.4286

Word: "bow", Occurrence:0.4286

Word: "way", Occurrence:0.1429

3. Term Frequency-Inverse Document Frequency (TF-IDF) 词频-逆文档频率算法

TF-IDF采取另一种方法,认为高频率可能无法提供大量信息增益。换句话说,罕见的词语为模型贡献了更多的权重。

在同一文档中(即同一训练record),词的重要性会随着出现次数的增加而提高。另一方面,如果在语料库中(即其他的训练record),词的重要性会随着出现次数的增加而降低。

doc = "In the-state-of-art ofthe NLP field, Embedding is the \

success way to resolve text relatedproblem and outperform \

Bag of Words ( BoW ). Indeed, BoWintroduced limitations \

large feature dimension, sparserepresentation etc."

tfidf_vec = TfidfVectorizer()

tfidf_count_occurs =tfidf_vec.fit_transform([doc])

tfidf_count_occur_df = pd.DataFrame(

   (count, word) for word, count in zip(

   tfidf_count_occurs.toarray().tolist()[0],  

   tfidf_vec.get_feature_names()))

tfidf_count_occur_df.columns =['Word', 'Count']

tfidf_count_occur_df.sort_values('Count',ascending=False, inplace=True)

tfidf_count_occur_df.head()

输出结果(结果与归一化计数(normalized count occurrence)完全相同,因为演示代码仅包含一个文档)

Word: "of", Occurrence:0.4286

Word: "bow", Occurrence:0.4286

Word: "way", Occurrence:0.1429

四. 代码



此示例代码将在Count Occurrence,Normalized Count Occurrence和TF-IDF之间进行比较。

如下的示例函数通过使用不同的矢量化方法来构建模型

def build_model(mode):

   # Intent to use default paramaters for show case

   vect = None

   if mode == 'count':

        vect = CountVectorizer()

   elif mode == 'tf':

        vect = TfidfVectorizer(use_idf=False,norm='l2')

   elif mode == 'tfidf':

        vect = TfidfVectorizer()

   else:

        raise ValueError('Mode should be eithercount or tfidf')

   

   return Pipeline([

        ('vect', vect),

        ('clf' ,LogisticRegression(solver='newton-cg',n_jobs=-1))

])

有另一个示例函数来构建一个端到端的pipeline

def pipeline(df, mode):

   x = preprocess_x(df)

   y = preprocess_y(df)

   

   model_pipeline = build_model(mode)

   cv = KFold(n_splits=10, shuffle=True)

   

   scores = cross_val_score(

        model_pipeline, x, y, cv=cv,scoring='accuracy')

   print("Accuracy: %0.4f (+/- %0.4f)" % (

        scores.mean(), scores.std() * 2))

   

return model_pipeline

让我们检查一下我们需要处理的总的单词数量

x = preprocess_x(x_train)

y = y_train

   

model_pipeline =build_model(mode='count')

model_pipeline.fit(x, y)

print('Number of Vocabulary: %d'%(len(model_pipeline.named_steps
['vect'].get_feature_names())))

输出结果

Number of Vocabulary: 130107

通过传递不同的参数mode = “count” (Count Occurrence), “tf”(Normalized Count Occurrence) 或者 “tfidf”(TF-IDF)来调用pipeline模型。

print('Using Count Vectorizer------')

model_pipeline = pipeline(x_train,y_train, mode='count')

print('Using TF Vectorizer------')

model_pipeline = pipeline(x_train,y_train, mode='tf')

print('Using TF-IDFVectorizer------')

model_pipeline = pipeline(x_train,y_train, mode='tfidf')

结果是:

Using Count Vectorizer------

Accuracy: 0.8892 (+/- 0.0198)

Using TF Vectorizer------

Accuracy: 0.8071 (+/- 0.0110)

Using TF-IDF Vectorizer------

Accuracy: 0.8917 (+/- 0.0072)

五. 结论



您可以在GitHub查看所有的代码。

https://github.com/makcedward/nlp/blob/master/sample/nlp-bag_of_words.ipynb

根据以往的经验,我试图通过简短的描述来解决产品类别分类的问题。例如,给出“FreshApple”,期望分配的类别是“Fruit”。通过仅使用计数出现次数的方法就已经能够达到80%以上的准确率。

在这种情况下,由于每个训练记录的单词数量只是几个单词(从2个单词到10个单词)。使用词嵌入可能不是一个好方法,因为没有太多的上下文(单词)来训练词向量。

另一方面,scikit-learn提供了其他参数来进一步优化模型输入。您可能需要查看以下特征:

ngram_range: 除了使用单个单词,也可以定义ngram

• binary: 除了计数出现的次数之外,还可以选择二元表示。

• max_features: 不使用单词表的所有单词,可以选择最大数量的单词来减少模型的复杂性和大小。

此外,还可以在上面的scikit-learn库中执行一些预处理步骤,不需要自己处理。例如,删除停止词(stop word),单词变为小写等等。为了获得更好的灵活性,我将使用自己的代码来完成预处理步骤(参见GitHub)。

原文链接:

https://towardsdatascience.com/3-basic-approaches-in-bag-of-words-which-are-better-than-word-embeddings-c2cbc7398016

Github 链接:

https://github.com/makcedward/nlp/blob/master/sample/nlp-bag_of_words.ipynb

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-08-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法工程师

机器翻译不可不知的Seq2Seq模型

Seq2Seq,全称Sequence to Sequence。它是一种通用的编码器——解码器框架,可用于机器翻译、文本摘要、会话建模、图...

1823
来自专栏CreateAMind

神经网络里的信息存储在哪里?如何更好的存储和提取?

神经元的活性和神经元之间的权重都存储了重要信息,有没有更好的存储方式呢?如何向生物记忆学习呢?

872
来自专栏企鹅号快讯

K近邻算法的Python实现

作者:黄耀鹏人工智能爱好者,一名数据科学研究者及科普写作者 知乎专栏:https://zhuanlan.zhihu.com/data-science-medit...

4029
来自专栏算法channel

机器学习|聚类算法之DBSCAN

DBSCAN,全称:Density-Based Spatial Clustering of Applications with Noise,是一个比较有代表性的...

4399
来自专栏机器学习算法与Python学习

向量化与HashTrick在文本挖掘中预处理中的体现

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 在(文本挖掘的分词原理)中,我...

3917
来自专栏AI研习社

手把手教你用 Keras 实现 LSTM 预测英语单词发音

我近期在研究一个 NLP 项目,根据项目的要求,需要能够通过设计算法和模型处理单词的音节 (Syllables),并对那些没有在词典中出现的单词找到其在词典中对...

892
来自专栏专知

【ACL2018】什么都能GAN,无监督神经网络翻译新方法

2452
来自专栏机器之心

你可能不再需要Attention:这是一个贼简单的神经机器翻译架构

自从编码器解码器架构崛起以来,主流的神经机器翻译(NMT)模型都使用这种架构,因为它允许原文序列长度和译文序列长度不一样。而自 Bahdanau 等研究者在 1...

853
来自专栏人工智能头条

深度学习中的注意力机制

1.7K3
来自专栏cs

NLP问题之word2vec

其用于有如下的 从「中文分词」、「词云画像」、「词性分析」到「自动摘要」、「关系挖掘」、「情感分析」、「知识图谱」等

1902

扫码关注云+社区

领取腾讯云代金券