NLP基础——词集模型(SOW)和词袋模型(BOW)

(1)词集模型(Set Of Words): 单词构成的集合,集合自然每个元素都只有一个,也即词集中的每个单词都只有一个。

(2)词袋模型(Bag Of Words): 如果一个单词在文档中出现不止一次,并统计其出现的次数(频数)。

为文档生成对应的词集模型和词袋模型

考虑如下的文档:

dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
         ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
         ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
         ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
         ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
         ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]

list of lists 的每一行表示一个文档

第一步:生成词汇表

vocabSet = set()
for doc in dataset:
    vocabSet |= set(doc)
vocabList = list(vocabSet)

第二步:为每一个文档创建词集向量/词袋向量

# 词集模型
SOW = []
for doc in dataset:
    vec = [0]*len(vocabList)
    for i, word in enumerate(vocabList):
        if word in doc:
            vec[i] = 1
    SOW.append(doc) 

# 词袋模型
BOW = []
for doc in dataset:
    vec = [0]*len(vocabList)
    for word in doc:
        vec[vocabList.index[word]] += 1
    BOW.append(vec)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏fangyangcoder

python机器学习实战(三)

这篇博客是关于机器学习中基于概率论的分类方法--朴素贝叶斯,内容包括朴素贝叶斯分类器,垃圾邮件的分类,解析RSS源数据以及用朴素贝叶斯来分析不同地区的态度.

25320
来自专栏Pulsar-V

矩阵理论·范数

向量范数 1-范数: ,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。 2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向...

40280
来自专栏Petrichor的专栏

深度学习: Jacobian矩阵 & Hessian矩阵

[1] Functions - Gradient, Jacobian and Hessian [2] Deep Learning Book

59930
来自专栏SnailTyan

Improving Deep Neural Networks学习笔记(三)

5. Hyperparameter tuning 5.1 Tuning process Hyperparameters: α\alpha, β\beta, β1...

22210
来自专栏marsggbo

向量和矩阵的各种范数比较(1范数、2范数、无穷范数等等

向量的1范数即:向量的各个元素的绝对值之和,上述向量a的1范数结果就是:29,MATLAB代码实现为:norm(a,1);

55130
来自专栏机器学习算法与Python学习

【代码分享】系列之朴素贝叶斯(github clone)

前言 朴素贝叶斯是一种使用概率论来分类的算法。其中朴素:各特征条件独立;贝叶斯:根据贝叶斯定理。 根据贝叶斯定理,对一个分类问题,给定样本特征x,样本属于类别y...

33190
来自专栏有趣的Python和你

机器学习实战之朴素贝叶斯

13820
来自专栏量化投资与机器学习

用Numpy实现优化算法比较

13520
来自专栏deepcc

jQuery身份证验证插件

41360
来自专栏Data Analysis & Viz

手把手教你完成一个数据科学小项目(5):省份提取与可视化

请先阅读“中国年轻人正带领国家走向危机”,这锅背是不背? 一文,以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。

9410

扫码关注云+社区

领取腾讯云代金券