• 回答 (9)
  • 关注 (1)
  • 查看 (505)

大数据是最近两年提出的,而数据挖掘上世纪就提出来了。我想知道的是,现在大数据的背景下,采用的数据挖掘算法跟之前传统的数据挖掘算法有什么本质上的不同?如果没有不同,那又是什么关系呢?

你想要的ccc你想要的ccc提问于
你在哪里回答于

之前一度盛传大数据是用来忽悠人的,但现在应该改观了很多人的想法。大数据不是数据挖掘的延伸,也没有相似度。稚嫩恶搞说重合度很高,大数据干的就是数据挖掘的事。数据挖掘之前叫KDD(Knowledge Discovery and Data Mining, 或者也可以是 Knowledge Discovery in Database)。数据挖掘就是从海量的数据中发现隐含的知识和规律。那么说,这个东西是啥时候提出来的?上个世纪。而大数据是个很新的东西,在很大程度上大数据就是数据挖掘的新名字。

大数据在容量(Volume),速率(Velocity)和种类(Variety)三个方面都有相关定义,而数据挖掘(Data mining)简单的说,则是一个从未经处理过的数据中提取信息的过程,重点是找到相关性和模式分析。大数据和数据挖掘的相似处或者关联在于: 数据挖掘的未来不再是针对少量或是样本化,随机化的精准数据,而是海量,混杂的大数据。

数据挖掘就是从海量的数据中发现隐含的知识和规律。所以数据挖掘的前提和大数据的前提是一样的,就是海量数据。所以就方法而言,二者是很类似的。

我们现在总是提的大数据,我认为主要是一种思路:

1.不使用抽样的数据,而采用全部的数据:这里我指的全部的数据是完全所有的数据,包括正确的和不正确的数据都要采用。噪声和错误数据同样包含着有用的信息。

2.不关心为什么,只关心是什么:因为我们有了海量的数据 ,因此我们通过大数据统计出的结果应该是具有相当程度的普适性的。所以把这种现象-结果拿去套就行了。如果探究和证明因果关系的话,通常是极为困难的。一个例子就是经典的啤酒和尿布,从数据中获得这种结果很简单,把它们放在一起就能增加销量从而达到沃尔玛的目的,而去查明原因则费事的多。

3.相比数据分析方法而言更注重数据获取:换一种说法就是数据为先。因为现在计算机太牛逼了,所以只要我们想到办法,它就能替我们干相应的活。基于此,我们要做的就是获取更多的,更全面的数据来让计算机分析。例如国外快递公司在车上装传感器来帮助快递调度,劳斯莱斯公司在飞机发动机上装传感器并通过历史数据和实时数据预先预测潜在故障并提前检修的例子。大数据思维模式中,数据为我们提供最多的可能和最大的价值,所以着重获取数据。

回答过的其他问题

物联网如何实现每年为企业节省数亿服务与维护费?

Gartner咨询公司这次发布我也看了,说的到2022年以后,物联网每年就将会为消费者和企业节省1万亿美元,其中这节省的费用主要花在了消费品还有维护及服务上。 物联网的早期应用是流程与物理资产的软件模型,这以来就可以打造出极强的关联体系了,可以说这将可以让机器的运作情况和任何环境...... 展开详请

AI如何赋能物流?

人工智能技术赋能,物流行业迎来科技红利。必须指出的是,智慧物流兴起的最根本原因是人工智能、大数据等新兴技术的推进落地。正如上文所说,智慧物流并不仅仅是“自动化”,而是“自动化+信息化+算法”。即在大数据和智能算法的指导下,充分运用物联网、人工智能等先进技术产品,在操作层面,实现全...... 展开详请

个性化推荐算法有哪些推荐方式及应用?

个性化推荐算法,嗯这个目前是比较火热的一个话题,在生活中现在推荐的方方面面太多了,什么QQ等社交软件内每天都有各种产品的广告的推送,更是在朋友圈还有奔驰这样的大企品牌的广告推送呢,总的来说这个个性化推荐算法吧,可以说就是很有针对性的进行推送吧。我了解的有两种个性化推荐方法吧: 1...... 展开详请

游戏开发者应该如何识别挂机脚本?

你这里说到识别挂机脚本,那么必然需要谈一谈脚本挂机的原理:目前市面上,挂机工具大多都是通过捕捉屏幕上的像素点来实现的,比如atuokey的一些工具。比较常见的就像是之前阴阳师自动刷体力的脚本工具。游戏脚本按照原理大概三类(才疏学浅,可能不全): 按键类脚本:此类脚本大多适合一些流...... 展开详请

小程序可以实现哪些音视频解决方案?

对于小程序的音视频解决方案这块腾讯云自身能提供的方案已经很成熟了,并且场景广泛,创新和实用度都较高,具体目前我了解到包括下面六个方面吧: 1、银行证券开户 随着远程视频开户逐渐被银行、证券等行业广泛应用。应用腾讯云小程序实时音视频通信技术,无需安装App,从微信小程序快速开启实时...... 展开详请

物联网技术在智慧城市中应用难点与疑点?

首先,我们先了解智慧城市是什么? 智慧城市是以物联网、云计算、大数据为主的新一代信息技术全面应用的体系,是城市信息化发展的更高阶段。智慧城市是通过互联网无处不在的城市智能化传感器连接起来形成的“物联网”,实现对物理城市的全面感知。 那么,物联网是通过什么工作的? 在各个物体中,只...... 展开详请

关于作者

所属标签

扫码关注云+社区

领取腾讯云代金券