NLP基础——词集模型（SOW）和词袋模型（BOW）

郭耀华

发布于 2018-07-04 14:43:47

1.2K0

发布于 2018-07-04 14:43:47

文章被收录于专栏：郭耀华‘s Blog郭耀华‘s Blog

（1）词集模型（Set Of Words）： 单词构成的集合，集合自然每个元素都只有一个，也即词集中的每个单词都只有一个。

（2）词袋模型（Bag Of Words）： 如果一个单词在文档中出现不止一次，并统计其出现的次数（频数）。

为文档生成对应的词集模型和词袋模型

考虑如下的文档：

dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
         ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
         ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
         ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
         ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
         ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]

list of lists 的每一行表示一个文档

第一步：生成词汇表

vocabSet = set()
for doc in dataset:
    vocabSet |= set(doc)
vocabList = list(vocabSet)

第二步：为每一个文档创建词集向量/词袋向量

# 词集模型
SOW = []
for doc in dataset:
    vec = [0]*len(vocabList)
    for i, word in enumerate(vocabList):
        if word in doc:
            vec[i] = 1
    SOW.append(doc) 

# 词袋模型
BOW = []
for doc in dataset:
    vec = [0]*len(vocabList)
    for word in doc:
        vec[vocabList.index[word]] += 1
    BOW.append(vec)

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2018-06-27 ，如有侵权请联系 cloudcommunity@tencent.com 删除

list