什么是文本挖掘?大数据该挖掘什么?

什么是文本挖掘

文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具,它从数据挖掘发展而来,但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web);文档内容是人类所使用的自然语言,缺乏计算机可理解的语义。

传统数据挖掘所处理的数据是结构化的,而文档(web)都是半结构或无结构的。所以,文本挖掘面临的首要问题是如何在计算机中合理地表示文本,使之既要包含足够的信息以反映文本的特征,又不至于过于复杂使学习算法无法处理。在浩如烟海的网络信息中,80%的信息是以文本的形式存放的,WEB文本挖掘是WEB内容挖掘的一种重要形式。

文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题,它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息,即对文本进行科学的抽象,建立它的数学模型,用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。

目前人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销,使整个处理过程的效率非常低下,而且会损害分类、聚类算法的精确性,从而使所得到的结果很难令人满意。因此,必须对文本向量做进一步净化处理,在保证原文含义的基础上,找出对文本特征类别最具代表性的文本特征。为了解决这个问题,最有效的办法就是通过特征选择来降维。

目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。特征项必须具备一定的特性:

1)特征项要能够确实标识文本内容;

2)特征项具有将目标文本与其他文本相区分的能力;

3)特征项的个数不能太多;

4)特征项分离要比较容易实现。

在中文文本中可以采用字、词或短语作为表示文本的特征项。相比较而言,词比字具有更强的表达能力,而词和短语相比,词的切分难度比短语的切分难度小得多。因此,目前大多数中文文本分类系统都采用词作为特征项,称作特征词。这些特征词作为文档的中间表示形式,用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项,那么特征向量的维数将过于巨大,从而导致计算量太大,在这样的情况下,要完成文本分类几乎是不可能的。特征抽取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词数,以此来降低向量空间维数,从而简化计算,提高文本处理的速度和效率。

文本特征选择对文本内容的过滤和分类、聚类处理、自动摘要以及用户兴趣模式发现、知识发现等有关方面的研究都有非常重要的影响。通常根据某个特征评估函数计算各个特征的评分值,然后按评分值对这些特征进行排序,选取若干个评分值最高的作为特征词,这就是特征抽取(FeatureSelection)。

特征选取的方式常见的有4种:

(I)用映射或变换的方法把原始特征变换为较少的新特征。

(2)从原始特征中挑选出一些最具代表性的特征。

(3)根据专家的知识挑选最有影响的特征。

(4)用数学的方法进行选取,找出最具分类信息的特征,这种方法是一种比较精确的方法,人为因素的干扰较少,尤其适合于文本自动分类挖掘系统的应用。

随着网络知识组织、人工智能等学科的发展,文本特征提取将向着数字化、智能化、语义化的方向深入发展,在社会知识管理方面发挥更大的作用。

玩转大数据,其实是在挖掘人性需求

今日资本的徐新女士当年准备投京东的时候,刘强东把后台ERP系统打开给徐新看,虽然销售额只有5000万元,但每个月增长10%,京东商城当时还没钱打广告,可老客户一年会上来3次,这几组数据足以证明,用户喜欢这个网站。这组数据的信息量和推演逻辑,足以覆盖一份花哨的项目故事PPT。 因为数据在说话,更因为用户行为累积成的数据信息足以挖掘出产品的可成长性、电商的趋势、盈利模式是否健康等核心信息。而大数据的来源其实是人,玩转大数据,其实是在挖掘人性需求。

大数据更接地气的解释是统计学(包含但不完全),但大数据应用需要从用户行为中摸出统计及定性和定向的脉络,最终形成有价值的信息,以指导产品设计、平台搭建、营销推广等实用策略。数据本身零散的,需要经过清洗、挖掘、组织、归纳,演变成有价值的信息,由此起到决策、佐证、指导的应用价值。 其实,大数据更深层的挖掘就是用户行为(人性)、用户需求(欲望)、转化(选择),把“我”升级成“我们”,换位思考一下行为和欲望,再进行性别、年龄、地域、收入、教育等等深度的信息挖掘,就能理解在纷繁复杂的人类与人性里,数据于此的息息相关了。说白了,大数据就是若干个“我”的存在,而大数据应用,就是在“我们”里挖掘信息,以洞察“我们”的需求,转化成商业模式,实现盈利。对“我们”的玩转,也是电商盈利模式不断升级的过程。 当微信、微博社交媒体成为用户黏度最高的产品时,基于社交圈的用户原始需求也最有效地形成有价值数据: 1、社交平台的信息分享对于个体用户有着强烈的需求煽动力,电商社交化,立刻成为趋势。 2、用户的兴趣点、社交图谱与购买转化形成的时间规律、价格规律、敏感词规律,通过萃取可梳理出一套电商营销方法论,在恰当的时间、恰当的社交平台、以恰当的卖点投放恰当的产品广告,触达用户,形成精细化营销。 而这一系列大数据的有效信息萃取,都是来自若干个“我”。如果还在神乎其神地脱离“我”谈大数据,可以想见的是,没人气。

大数据是随人走的,但产品设计、平台搭建、营销推广,是随大数据应用走的,对人性洞察越犀利,在人与大数据之间的正向转化也就越乐观。电商资料库可以快速捕获、监控、分析用户行为,进行数字化生产和管理。 海量用户行为数据背后,隐藏的就是消费行为逻辑,什么样的广告用户最买单?不同区域的人购买习惯差异是什么?不同年龄与性别的人在不同时期都在消费什么?PC与移动的用户及用户行为差异是什么?这些复杂碎片化的信息,都能从数据中系统地萃取,形成一套方法论。 其本质,依然是在洞察“我”。每一个“我”都是孤立的碎片信息,但是通数据收集、挖掘、清洗、归纳,进行价值数据输出,“我”就升级成“我们”,“我们”就合力成海量需求,海量需求就成为有价值的数据包。通过精准分析、定位、投放,能够让产品设计、平台搭建、营销变得智能、精准、快捷、高效。尊重每一个“我”的存在,是大数据应用从人性及用户行为出发,挖掘有效信息的根本。 未来,数据收集和分析能力的强弱可能决定了企业的核心竞争力。当每一个个体成为大数据构成中的一分子的时候,把自己也作为一个用户样本,真实洞察自身需求和行为,也能从价值观和行为习惯中推理出相唿应的价值信息,放之“我们”中进行匹配和佐证,也算为大数据贡献一个样本了。(Via: 中兴大数据 )

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

智能机器的现实风险

当人们问我是干什么的,我常常对回答的深度感到困惑。说“人工智能”我很满意,但太宽泛,而说“图像处理”可能又太具体。然而,一听到接下的来的毫不相干的问题我总是气不...

811
来自专栏CSDN技术头条

在人工智能和大数据产品的开发中,有哪些需要特别注意的点?

人工智能是近年来科技发展的重要方向,大数据的采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据产品的开发过程中,有哪些特别需要注意的要点?人工智能领域的算...

1907
来自专栏AI科技评论

开发 | 从实践角度探讨深度学习优越性

为什么深度学习(DL)比其他机器学习(ML)方法效果更好? AI 科技评论按:近来在多个国外开发者论坛、杂志中,”深度学习的优越性”这个话题着实引发了不少讨论。...

3767
来自专栏人工智能头条

中国大数据专家委员会顾问、中国科学院院士张钹:大数据与人工智能研究的思考

1404
来自专栏小小挖掘机

推荐系统遇上深度学习(十四)--强化学习与推荐系统的强强联合!

之前学习了强化学习的一些内容以及推荐系统的一些内容,二者能否联系起来呢!今天阅读了一篇论文,题目叫《DRN: A Deep Reinforcement Lear...

1783
来自专栏机器学习算法与Python学习

除了深度学习,你还应该关注这 6 大 AI 领域

AI的这6个领域对未来的数字化产品和服务有着巨大影响。 ? 编者按:因为深度学习最近在语音识别、图像识别等领域取得的突破,很多人都把人工智能与深度学习混为一谈。...

3674
来自专栏大数据文摘

深度丨掌握地球?智能机器带来的真正风险

1514
来自专栏AI科技大本营的专栏

量子计算+人工智能——这才是未来科技的最大热门!

编译 | AI科技大本营 参与 | shawn 编辑 | 明明 90年代初,当卫奇塔州立大学(Wichita State University)的物理学教授El...

4037
来自专栏计算机视觉战队

目标检测也就是这么简单

今天其实是一个不凡的日子,因为今天是属于我们的“23”!这个数字也是我喜欢的幸运数字,所以今天心情犹如窗外温柔秋风和温暖阳光化学反应的味道,带着美美的心情来开展...

3305
来自专栏AI科技大本营的专栏

别瞎搞!对自己定位不准,看再多机器学习资料也是白搭(附资源)

找资料也是门学问,别抓着机器学习就一拥而上。 作者 | Jason Brownlee 编译 | AI100(ID:rgznai100) 来看个小故事:机器学习火...

3098

扫码关注云+社区