什么是文本挖掘?大数据该挖掘什么?

什么是文本挖掘

文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具,它从数据挖掘发展而来,但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web);文档内容是人类所使用的自然语言,缺乏计算机可理解的语义。

传统数据挖掘所处理的数据是结构化的,而文档(web)都是半结构或无结构的。所以,文本挖掘面临的首要问题是如何在计算机中合理地表示文本,使之既要包含足够的信息以反映文本的特征,又不至于过于复杂使学习算法无法处理。在浩如烟海的网络信息中,80%的信息是以文本的形式存放的,WEB文本挖掘是WEB内容挖掘的一种重要形式。

文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题,它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息,即对文本进行科学的抽象,建立它的数学模型,用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。

目前人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销,使整个处理过程的效率非常低下,而且会损害分类、聚类算法的精确性,从而使所得到的结果很难令人满意。因此,必须对文本向量做进一步净化处理,在保证原文含义的基础上,找出对文本特征类别最具代表性的文本特征。为了解决这个问题,最有效的办法就是通过特征选择来降维。

目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。特征项必须具备一定的特性:

1)特征项要能够确实标识文本内容;

2)特征项具有将目标文本与其他文本相区分的能力;

3)特征项的个数不能太多;

4)特征项分离要比较容易实现。

在中文文本中可以采用字、词或短语作为表示文本的特征项。相比较而言,词比字具有更强的表达能力,而词和短语相比,词的切分难度比短语的切分难度小得多。因此,目前大多数中文文本分类系统都采用词作为特征项,称作特征词。这些特征词作为文档的中间表示形式,用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项,那么特征向量的维数将过于巨大,从而导致计算量太大,在这样的情况下,要完成文本分类几乎是不可能的。特征抽取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词数,以此来降低向量空间维数,从而简化计算,提高文本处理的速度和效率。

文本特征选择对文本内容的过滤和分类、聚类处理、自动摘要以及用户兴趣模式发现、知识发现等有关方面的研究都有非常重要的影响。通常根据某个特征评估函数计算各个特征的评分值,然后按评分值对这些特征进行排序,选取若干个评分值最高的作为特征词,这就是特征抽取(FeatureSelection)。

特征选取的方式常见的有4种:

(I)用映射或变换的方法把原始特征变换为较少的新特征。

(2)从原始特征中挑选出一些最具代表性的特征。

(3)根据专家的知识挑选最有影响的特征。

(4)用数学的方法进行选取,找出最具分类信息的特征,这种方法是一种比较精确的方法,人为因素的干扰较少,尤其适合于文本自动分类挖掘系统的应用。

随着网络知识组织、人工智能等学科的发展,文本特征提取将向着数字化、智能化、语义化的方向深入发展,在社会知识管理方面发挥更大的作用。

玩转大数据,其实是在挖掘人性需求

今日资本的徐新女士当年准备投京东的时候,刘强东把后台ERP系统打开给徐新看,虽然销售额只有5000万元,但每个月增长10%,京东商城当时还没钱打广告,可老客户一年会上来3次,这几组数据足以证明,用户喜欢这个网站。这组数据的信息量和推演逻辑,足以覆盖一份花哨的项目故事PPT。 因为数据在说话,更因为用户行为累积成的数据信息足以挖掘出产品的可成长性、电商的趋势、盈利模式是否健康等核心信息。而大数据的来源其实是人,玩转大数据,其实是在挖掘人性需求。

大数据更接地气的解释是统计学(包含但不完全),但大数据应用需要从用户行为中摸出统计及定性和定向的脉络,最终形成有价值的信息,以指导产品设计、平台搭建、营销推广等实用策略。数据本身零散的,需要经过清洗、挖掘、组织、归纳,演变成有价值的信息,由此起到决策、佐证、指导的应用价值。 其实,大数据更深层的挖掘就是用户行为(人性)、用户需求(欲望)、转化(选择),把“我”升级成“我们”,换位思考一下行为和欲望,再进行性别、年龄、地域、收入、教育等等深度的信息挖掘,就能理解在纷繁复杂的人类与人性里,数据于此的息息相关了。说白了,大数据就是若干个“我”的存在,而大数据应用,就是在“我们”里挖掘信息,以洞察“我们”的需求,转化成商业模式,实现盈利。对“我们”的玩转,也是电商盈利模式不断升级的过程。 当微信、微博社交媒体成为用户黏度最高的产品时,基于社交圈的用户原始需求也最有效地形成有价值数据: 1、社交平台的信息分享对于个体用户有着强烈的需求煽动力,电商社交化,立刻成为趋势。 2、用户的兴趣点、社交图谱与购买转化形成的时间规律、价格规律、敏感词规律,通过萃取可梳理出一套电商营销方法论,在恰当的时间、恰当的社交平台、以恰当的卖点投放恰当的产品广告,触达用户,形成精细化营销。 而这一系列大数据的有效信息萃取,都是来自若干个“我”。如果还在神乎其神地脱离“我”谈大数据,可以想见的是,没人气。

大数据是随人走的,但产品设计、平台搭建、营销推广,是随大数据应用走的,对人性洞察越犀利,在人与大数据之间的正向转化也就越乐观。电商资料库可以快速捕获、监控、分析用户行为,进行数字化生产和管理。 海量用户行为数据背后,隐藏的就是消费行为逻辑,什么样的广告用户最买单?不同区域的人购买习惯差异是什么?不同年龄与性别的人在不同时期都在消费什么?PC与移动的用户及用户行为差异是什么?这些复杂碎片化的信息,都能从数据中系统地萃取,形成一套方法论。 其本质,依然是在洞察“我”。每一个“我”都是孤立的碎片信息,但是通数据收集、挖掘、清洗、归纳,进行价值数据输出,“我”就升级成“我们”,“我们”就合力成海量需求,海量需求就成为有价值的数据包。通过精准分析、定位、投放,能够让产品设计、平台搭建、营销变得智能、精准、快捷、高效。尊重每一个“我”的存在,是大数据应用从人性及用户行为出发,挖掘有效信息的根本。 未来,数据收集和分析能力的强弱可能决定了企业的核心竞争力。当每一个个体成为大数据构成中的一分子的时候,把自己也作为一个用户样本,真实洞察自身需求和行为,也能从价值观和行为习惯中推理出相唿应的价值信息,放之“我们”中进行匹配和佐证,也算为大数据贡献一个样本了。(Via: 中兴大数据 )

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

专栏 | 滴滴KDD2017论文:基于组合优化的出租车分单模型

机器之心专栏 机器之心编辑部 数据挖掘顶会 KDD 2017 已经开幕,国内有众多来自产业界的论文被 KDD 2017 接收。本文是对滴滴 KDD 2017 论...

2998
来自专栏YoungGy

消费者理论概述

消费者理论是构建经济学大厦的基石。 本文先从优化问题讲起,构建经济学基本的benefit-cost模型,然后从消费者的角度阐述consumer theory...

1959
来自专栏AI科技评论

详解 | 滴滴大数据预测用户目的地,准确率超90% | KDD 2017

AI科技评论按:在KDD 2017中滴滴研究院副院长叶杰平所带的滴滴团队关于出租车组合优化分单模型和目的地预测的论文《A Taxi Order Dispatch...

4096
来自专栏机器学习算法与Python学习

K-Means算法的10个有趣用例

源 | AI Zone K-means算法具有悠久的历史,并且也是最常用的聚类算法之一。K-means算法实施起来非常简单,因此,它非常适用于机器学习新手爱好者...

2866
来自专栏大数据挖掘DT机器学习

数据挖掘工作的几点体会

1、挖掘工具主要分商业数据产品和集成数据挖掘产品两类:商业数据挖掘产品具有代表性的SPSS Clementine,SAS Enterprise Miner,IB...

3396
来自专栏AI科技大本营的专栏

吴恩达团队最新成果:用深度学习来改善临终关怀服务

翻译 | AI科技大本营(ID:rgznai100) 参与 | 尚岩奇,刘畅 AI可以是杀戮的武器,也可以是救世的良方。 上周,在日内瓦举行的联合国特定常规武...

3407
来自专栏数据派THU

独家 | 全解用Python建立能源市场算法交易的机器学习框架(附链接)

人工智能的新突破每天都成为头条新闻。在金融领域,机器学习的广泛运用和强大的应用,客户们并不了解。事实上,很少有像金融行业那样具有深厚历史、清楚明了和结构化数据的...

563
来自专栏机器之心

学界 | 基于概率隐层模型的购物搭配推送:阿里巴巴提出新型用户偏好预测模型

3506
来自专栏PPV课数据科学社区

基于客户行为事件的跨领域统一推荐模型探讨

跨领域深度学习模型一直是近几年推荐系统主要研究方向之一, 本文探讨一种个人客户画像构建的新思路, 并讨论对应的基于个人行为事件的跨领域统一推荐模型。 1、基于个...

33914
来自专栏互联网数据官iCDO

跟你想的不同!Look-alike用户行为模拟建模背后的科学分析

译者注: Look-alike模型是我们关心的领域。 做数字营销的朋友们,希望打破流量的铁律——随着流量数量的增大,流量的质量必然会逐步下降。流量质量下降的原因...

3575

扫描关注云+社区