专栏首页全栈数据化营销Excel数据分析案例:用Excel做文档语义挖掘分析

Excel数据分析案例:用Excel做文档语义挖掘分析

语义分析,运用的范围相当广,例如可以通过一定语义算法科学地抽取文档的主题,可以发现文章中的重点词汇、研究文本的感情色彩等。本案例用Excel来做文档的语义分析。

本案所用的数据文档是爬取电商网站评论文本数据,再经过Excel的文档特征抽取工具提取出的文档术语矩阵,如下图所示:

在Excel的潜在语义分析工具中做好基本设置(具体的设置步骤将会分享在知识星球),选择30个主题数,以便为这组文档显示尽可能多的主题,而且还可以在计算出的截断矩阵上获得适当的解释方差,之后将每个主题的最大术语数(“最大术语/主题”)设置为5,以便仅在主题表以及与相关矩阵相关的不同图中可视化每个主题的最佳术语。

下图的摘要表显示每个主题的术语和文档总数:

下表和图形与一个数学对象(特征值)有关,它们各自对应于主题的重要性。

从N个维度(N是开始时的术语总数,在此数据集中为269个)移动到较小数量的维度(在示例中为30个)时,投影的质量是通过累积的可变性百分比来衡量的。

因此,每个特征值都与一个主题相对应,在这里我们看到将维度设置为30即可获得大约原始矩阵​​的60%的总累积变异性。

下表列出了找到的每个主题的最佳术语。这些主题以相关主题的重要性降序显示。第一个结果强调了通常与在线购买的服装的某些方面的正面或负面感觉相关的元素类别。

例如,主题8和24由术语对{small,large}和{run,bast}组成,涉及服装生产线上的尺寸问题。因此,可以将这些对组合成为一个通用术语,该符号表示此大小问题,从而消除了初始文档术语矩阵中的语义冗余(同义词)。

主题6通过将积极的情绪{sweet}与衣着行{top,peplum}相关联来表达成功。

术语对之间的关​​系强度通过下面的相关图直观地表示。它允许可视化新创建的语义空间中术语之间的相似度(余弦相似度)。余弦相似度测量可以比较具有不同出现频率的项。

相似度在0到1之间,值1对应完美的相似度或不相似度(一致的情况下为相似,不一致的情况下为相似)。

下面的两个示例以相似度从高到低的顺序显示了下拉列表中最接近所选词语的词语之间的相似度。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据采集分析实战:厦门房地产市场初步分析

    之前在做泉州租房和美食区域市场分析的时候,说过要尝试一下房地产的分析,当然房地产的分析是非常庞大的工程,涉及到政策、商圈、人口流动、地理区位、购买配套等等因素的...

    沉默的白面书生
  • 分析模型案例解析:决策树分析法 —决策常用的分析工具

    没有模型很难做好分析,希望记住这句话。 1. 概念含义 1.1.基本概念 决策树分析法又称概率分析决策方法,是指将构成决策方案的有关因素,以树状图形的方式表现出...

    沉默的白面书生
  • 以超市为例,用数据驱动智慧选址和经营分析

    沉默的白面书生
  • 函数(二)

    用于存放函数调用期间函数体产生的名字 生命周期:函数调用期间生效,函数执行结束后失效

    py3study
  • R语言做统计学3本电子书

    我们知道,做好数据工作,需要统计学的知识和方法以及应用统计学解决问题的思维和能力。R语言最初是由两位统计学教授以S语言为原型实现的开源语言,后来得到很多人参与,...

    陆勤_数据人网
  • Word--图片规整宏代码

    日常在写Word报告时候,特别是一些路测报告、项目总结报告,其中涉及到的图片特别多,往往大小不一,很不美观,要是手动一张一张调很费时间(就算调好第一张图片大小...

    用户6184845
  • 消息队列使用的四种场景介绍

    消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题

    lyb-geek
  • 第四十六章:SpringBoot & RabbitMQ完成消息延迟消费

    恒宇少年
  • Python学习:函数(function

    从上面两个例子中看到,times函数中表达式x*y的意义完全取决于x和y的对象类型,同样的函数,在一个实例下执行的是乘法,在另一个实例中执行的却是赋值。Pyth...

    py3study
  • 【深度学习系列】漫谈RNN之序列建模(机器翻译篇)

    推送第四日,量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 ,DM-Master,目前...

    量化投资与机器学习微信公众号

扫码关注云+社区

领取腾讯云代金券