什么是文本挖掘?大数据该挖掘什么?

什么是文本挖掘

文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具,它从数据挖掘发展而来,但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web);文档内容是人类所使用的自然语言,缺乏计算机可理解的语义。

传统数据挖掘所处理的数据是结构化的,而文档(web)都是半结构或无结构的。所以,文本挖掘面临的首要问题是如何在计算机中合理地表示文本,使之既要包含足够的信息以反映文本的特征,又不至于过于复杂使学习算法无法处理。在浩如烟海的网络信息中,80%的信息是以文本的形式存放的,WEB文本挖掘是WEB内容挖掘的一种重要形式。

文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题,它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息,即对文本进行科学的抽象,建立它的数学模型,用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。

目前人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销,使整个处理过程的效率非常低下,而且会损害分类、聚类算法的精确性,从而使所得到的结果很难令人满意。因此,必须对文本向量做进一步净化处理,在保证原文含义的基础上,找出对文本特征类别最具代表性的文本特征。为了解决这个问题,最有效的办法就是通过特征选择来降维。

目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。特征项必须具备一定的特性:

1)特征项要能够确实标识文本内容;

2)特征项具有将目标文本与其他文本相区分的能力;

3)特征项的个数不能太多;

4)特征项分离要比较容易实现。

在中文文本中可以采用字、词或短语作为表示文本的特征项。相比较而言,词比字具有更强的表达能力,而词和短语相比,词的切分难度比短语的切分难度小得多。因此,目前大多数中文文本分类系统都采用词作为特征项,称作特征词。这些特征词作为文档的中间表示形式,用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项,那么特征向量的维数将过于巨大,从而导致计算量太大,在这样的情况下,要完成文本分类几乎是不可能的。特征抽取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词数,以此来降低向量空间维数,从而简化计算,提高文本处理的速度和效率。

文本特征选择对文本内容的过滤和分类、聚类处理、自动摘要以及用户兴趣模式发现、知识发现等有关方面的研究都有非常重要的影响。通常根据某个特征评估函数计算各个特征的评分值,然后按评分值对这些特征进行排序,选取若干个评分值最高的作为特征词,这就是特征抽取(FeatureSelection)。

特征选取的方式常见的有4种:

(I)用映射或变换的方法把原始特征变换为较少的新特征。

(2)从原始特征中挑选出一些最具代表性的特征。

(3)根据专家的知识挑选最有影响的特征。

(4)用数学的方法进行选取,找出最具分类信息的特征,这种方法是一种比较精确的方法,人为因素的干扰较少,尤其适合于文本自动分类挖掘系统的应用。

随着网络知识组织、人工智能等学科的发展,文本特征提取将向着数字化、智能化、语义化的方向深入发展,在社会知识管理方面发挥更大的作用。

玩转大数据,其实是在挖掘人性需求

今日资本的徐新女士当年准备投京东的时候,刘强东把后台ERP系统打开给徐新看,虽然销售额只有5000万元,但每个月增长10%,京东商城当时还没钱打广告,可老客户一年会上来3次,这几组数据足以证明,用户喜欢这个网站。这组数据的信息量和推演逻辑,足以覆盖一份花哨的项目故事PPT。 因为数据在说话,更因为用户行为累积成的数据信息足以挖掘出产品的可成长性、电商的趋势、盈利模式是否健康等核心信息。而大数据的来源其实是人,玩转大数据,其实是在挖掘人性需求。

大数据更接地气的解释是统计学(包含但不完全),但大数据应用需要从用户行为中摸出统计及定性和定向的脉络,最终形成有价值的信息,以指导产品设计、平台搭建、营销推广等实用策略。数据本身零散的,需要经过清洗、挖掘、组织、归纳,演变成有价值的信息,由此起到决策、佐证、指导的应用价值。 其实,大数据更深层的挖掘就是用户行为(人性)、用户需求(欲望)、转化(选择),把“我”升级成“我们”,换位思考一下行为和欲望,再进行性别、年龄、地域、收入、教育等等深度的信息挖掘,就能理解在纷繁复杂的人类与人性里,数据于此的息息相关了。说白了,大数据就是若干个“我”的存在,而大数据应用,就是在“我们”里挖掘信息,以洞察“我们”的需求,转化成商业模式,实现盈利。对“我们”的玩转,也是电商盈利模式不断升级的过程。 当微信、微博社交媒体成为用户黏度最高的产品时,基于社交圈的用户原始需求也最有效地形成有价值数据: 1、社交平台的信息分享对于个体用户有着强烈的需求煽动力,电商社交化,立刻成为趋势。 2、用户的兴趣点、社交图谱与购买转化形成的时间规律、价格规律、敏感词规律,通过萃取可梳理出一套电商营销方法论,在恰当的时间、恰当的社交平台、以恰当的卖点投放恰当的产品广告,触达用户,形成精细化营销。 而这一系列大数据的有效信息萃取,都是来自若干个“我”。如果还在神乎其神地脱离“我”谈大数据,可以想见的是,没人气。

大数据是随人走的,但产品设计、平台搭建、营销推广,是随大数据应用走的,对人性洞察越犀利,在人与大数据之间的正向转化也就越乐观。电商资料库可以快速捕获、监控、分析用户行为,进行数字化生产和管理。 海量用户行为数据背后,隐藏的就是消费行为逻辑,什么样的广告用户最买单?不同区域的人购买习惯差异是什么?不同年龄与性别的人在不同时期都在消费什么?PC与移动的用户及用户行为差异是什么?这些复杂碎片化的信息,都能从数据中系统地萃取,形成一套方法论。 其本质,依然是在洞察“我”。每一个“我”都是孤立的碎片信息,但是通数据收集、挖掘、清洗、归纳,进行价值数据输出,“我”就升级成“我们”,“我们”就合力成海量需求,海量需求就成为有价值的数据包。通过精准分析、定位、投放,能够让产品设计、平台搭建、营销变得智能、精准、快捷、高效。尊重每一个“我”的存在,是大数据应用从人性及用户行为出发,挖掘有效信息的根本。 未来,数据收集和分析能力的强弱可能决定了企业的核心竞争力。当每一个个体成为大数据构成中的一分子的时候,把自己也作为一个用户样本,真实洞察自身需求和行为,也能从价值观和行为习惯中推理出相唿应的价值信息,放之“我们”中进行匹配和佐证,也算为大数据贡献一个样本了。(Via: 中兴大数据 )

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏软件成本造价评估

4种软件成本估算方法解析

 当下行业内在进行软件成本估算时,常用的有4种估算方法。这4种软件成本估算方法分别是:

611
来自专栏大数据文摘

深度丨掌握地球?智能机器带来的真正风险

1404
来自专栏人工智能快报

全球顶尖人工智能科学家回答网友提问

2016年1月20日,全球最顶尖的人工智能科学家之一、加拿大蒙特利尔大学教授Yoshua Bengio在知名问答社区Quora针对网友的提问给出了自己的一些见解...

3737
来自专栏全栈数据化营销

数据分析挖掘:影响信用因素是什么?银行如何通过模型做到快速审批的?

在之前曾经写过一篇叫做“数据分析:未来,你可能发生信用卡逾期吗?”,是分析什么样的人容易发生信用卡逾期行为呢?哪些因素会影响逾期行为的严重程度?

34412
来自专栏灯塔大数据

初识机器学习和人工智能

近日,英国皇家学会(Royal Society)发布了一份题为《机器学习:能通过样本进行学习的计算机的力量与希望(Machinelearning: the p...

3448
来自专栏AI科技评论

Yann LeCun演讲图文:如何让AI学习常识,AI未来趋势又在何方 | GMIC 2018

人工智能作为一个发展中的技术,其实还在演进的过程当中,有所能为,有所不能为,因此还有很多亟待解决的问题

833
来自专栏CDA数据分析师

避免五大误区丨数据科学家新手进阶之路

你为成为数据科学家做好了充分的准备。你参加Kaggle比赛,看了大量的Coursera课程。你感觉已经准备好了,但数据科学家的实际工作将与你的预期大不相同。

1240
来自专栏新智元

AI vs 深度学习 vs 机器学习:人工智能的 12 大应用场景

【新智元导读】在本文中,作者先探讨了深度学习的特点和优势,然后介绍了12种类型的AI问题,即:在哪些场景下应该使用人工智能(AI)?作者强调企业AI问题,因为他...

3095
来自专栏企鹅号快讯

智能识别技术 让计算机看懂世界

互联网发展之初受到网络带宽、数据存储等相关技术的限制,信息传播以单模态形式为主,如文字报道、图像相册等。进入大数据时代,信息传播变得丰富多彩,人们从互联网中同时...

18710
来自专栏阮一峰的网络日志

指数式增长(Exponential Growth)

前几天,我在日志中写到,有人根据我国历代古籍的数量,整理出一个指数方程。当时我还嘲笑说,这种做法有点无聊。今天我才发现,不是人家无聊,而是我太无知。 原来,文献...

3445

扫码关注云+社区