专栏首页达观数据大数据挖掘技术在企业创新中的应用(下篇)

大数据挖掘技术在企业创新中的应用(下篇)

4、应用、方式和收益

4.1数据统计是大数据的最直接应用

数据统计是大数据应用的最直观的形式,数据统计在企业中常被称为商业智能(BI, Business Intelligence)系统,使用者们通过观察数据报表来掌握企业的经营状况,发现企业运营的问题。大数据技术利用各种分析方法和工具在大规模海量数据中建立模型和发现数据间的潜在关系,帮助管理者们发现着眼点。

图8:商业智能(Business Intelligence)系统是最直接的应用

随着技术的进步,数据统计应用发展的越来越迅速,例如传统按周按天生成的数据报表,可以缩短为小时级甚至分钟级,同时报表的细分刻画能力也更强,有助于更及时的掌握业务变化情况,更深入了解变化的细节。

4.2 个性化技术蕴藏巨大价值

每个人生来就是与众不同的,需求也天然是个性化的。以时装产业为例,每个用户穿着打扮的口味、偏好、喜爱的款式是各不相同的,大数据能充分发挥所长,挖掘出用户的个性化需求并加以满足。亚马逊公司(Amazon)通过挖掘用户在线的浏览行为和购买记录,成功挖掘出了用户个性化模型并进行针对性商品推荐,极大促进了商品的购买率。目前亚马逊上超过30%的购买收入由个性化推荐系统所贡献,是了不起的成就。(达观数据陈运文)

图9:个性化推荐系统帮助人们解决信息过载的困扰

私人订制就是个性化的一个典型案例,以往私人订制是高端人群独有的服务,价格昂贵,耗时耗力,而大数据技术能将定制过程自动化,降低成本,让普罗大众享受到个性化服务的优势。亚马逊(Amazon)总裁杰夫·贝佐斯曾说过:“如果我的网站有一百万个顾客,我就应该有一百万个商店”。

个性化数据技术对合理调配企业资源也有积极的意义,例如美国的Dunnhumby Shop公司通过分析消费者来访问超市的时间和消费明细,对不同顾客群体采取针对性的促销手段,同时帮助供应商对不同区域制订合理有效的价格和库存和配送方案,合理的节约了运营成本。

4.3 最有吸引力的应用:预测技术

我们每天都在进行着大大小小的预测:如预测从家里出发到工作地点所需要的时间;预测某款产品发布以后一个月内的订单量。预测的愈准确,则成功的把握愈大。如果我们拥有百分之百准确的预测能力,像先知穆罕默德那样,就会变得无往不利。

图10:随着技术的进步,大数据正在赋予我们更强的洞察未来的能力

谁能预知未来?——大数据技术能帮你做到,因为它熟知过去。随着技术的进步,借助时间序列分析技术,·通过对趋势、季节变动、循环波动和不规则波动的因素的细致把握,大数据正在赋予我们更强的洞察未来的能力。

美国第二大连锁超市Target,通过大数据技术分析顾客的详细购买记录,判断出某位还在读书的年轻女孩已经怀孕了,并给她寄去了大量婴儿用品的优惠券,这位女孩的父亲收到优惠券后极为惊讶,经过和女儿的进一步沟通才发现真的已经有孕在身了。大数据技术比父亲更早预测出了真相,这个真实的故事证明了大数据预测的准确率在很多方面能够强过人类经验。

4.4 分类和回归技术

如同谚语“朝霞不出门,晚霞行千里”所说的,我们常常通过经验来分析不同现象之间存在的潜在关联和因果关系。而如今大数据技术能代替人工经验来更好的分析数据间的关联关系,帮助找出规律。

常见的包括两类技术,一类称为回归分析技术(Regression Analysis),它通过统计科学来把握两个或多个变量间相关关系的强度。另一类称为分类技术(Classification),分类是指通过分析已标注好的训练数据,来自动的将新的未知数据按种类、等级或性质分别归类的过程。

分类和回归是人脑最常进行的操作,现在计算机也能逐步代替人类完成这样的操作,且效率是人类的数万倍。典型的应用是英国Adzuna公司根据积累的海量职位薪酬数据,自动为招聘双方提供薪酬制定的科学依据,其最优的预测算法非常精确,生成的预测值和实际薪水值误差不到10%。Adzuna已成为英国内阁高官“幕后智囊团”,帮助英国政府了解失业率、职位空缺、薪资水平等经济发展情况,制定国策。

4.5 辅助决策系统

企业战略决策往往决定了企业的生死存亡,怎样才能更科学合理进行决策?华为公司总裁任正非曾说过“要让听得见炮火的人来决策”,提出了要从实际数据中产生科学决策结果。

大数据技术基于海量一线数据,能让决策更科学,降低误判的风险。其中大数据辅助分析有一个称为GREAT的原则:Guided, Relevant, Explainable, Actionable, Timely,基于GREAT原则越来越多的企业将会用好大数据,发挥智囊团的作用。

图11:大数据辅助分析的GREAT原则

5、探索、机遇和挑战

5.1 国内外大数据行业发展态势

在上述大数据技术上,通过串联起特定的数据采集、存储、挖掘、应用的机制,就能诞生出一个个具体的创新应用。例如通过RFID技术采集仓储信息,在云端存储数据并加上预测技术,能实现一个智能的物流管理系统;通过可穿戴感知器设备,加上私有云、个性化、社交网络等技术,则可以实现一个智能健康管理系统等等,可供拓展的机会有很多。

近年来大数据行业发展极为热烈:2009年美国政府启动Data.gov网站开放了社会公共数据的大门,向公众提供各种各样的政府数据。2009年欧洲一些研究型图书馆和科技信息研究机构建立了伙伴关系,致力于改善在互联网上获取科学数据的简易性。

2011年中国工信部发布了物联网十二五规划,将信息处理技术作为4 项关键技术创新工程提出,包括了海量数据存储、数据挖掘、图像视频智能分析,都是大数据的重要组成部分。2012年瑞士达沃斯世界经济论坛上,大数据是主题之一,会上发布的报告《大数据,大影响Big Data, Big Impact》 宣称,数据已经成为一种新的经济资产,就像货币或黄金。近年来大数据行业的投资并购,新兴企业发展等,更是呈现出如火如荼的发展态势。达观数据(http://www.datagrand.com)也是大数据浪潮中涌现出的杰出代表。

5.2 大数据时代面临的风险挑战

大数据时代所面临的重大风险之一是用户的隐私保护问题。近年来国内外多起的密码泄漏、隐私侵权等事件,暴露了这方面存在的问题。一方面我们需要对用户数据进行创新性的挖掘,另一方面还需要兼顾用户隐私的保护,两者是硬币的正反两面,其平衡和博弈的问题会始终存在。

大数据思维则是面临的更严峻挑战,则来自思维方式的转变。在企业经营逐步从传统粗放式向大数据精细化转向时,以往“差不多”、“还可以”、“领导说”等拍脑袋决策的方式要逐步让位于精确的数据分析、统计、预测系统,从“行或不行,官大的说了算”转变为“行或不行,数据说了算”,从“事后统计”转变为“事前预测”,是大数据思维方式的落实和转变。

5.3 大数据时代的创新机遇

图12:大数据时代的创新机遇

信息技术正在以突飞猛进的速度向前进步,包括新传感器采集技术、移动互联网技术、社交网络技术的蓬勃发展,将带来大量的创新性应用。大数据是新时代的石油,通过研发分析各种多元结构化数据的高效技术,提高数据产品的易用性,让数据分析实现“开箱即用”,其蕴藏的巨大能量将使数据成为政府和企业建立核心竞争力的关键途径,甚至能够颠覆很多传统行业的运作方式,带领我们进入信息革命的新时代。

对我们每个人而言,跟随大数据的浪潮,把握机遇,投身其中,在大数据创新的浪潮之巅定能一展身手。(达观数据陈运文)

作者

达观数据创始人 陈运文

现任达观数据科技CEO,上海市计算机学会多媒体分会副会长。中国知名大数据技术专家,国际计算机学会(ACM)和国际电子电器工程师学会(IEEE)高级会员,中国计算机学会(CCF)会员,复旦大学计算机博士和杰出毕业生,曾担任盛大文学首席数据官,腾讯文学高级总监、数据中心负责人,百度核心技术研发工程师等职务;QCon大数据分论坛主席和最佳技术讲师。

在数据挖掘和计算机信息处理领域拥有30项国家发明专利,并成功运用在国内互联网领域。在国际顶级学术期刊和会议上发表多篇SCI论文,多次代表中国参加国际数据挖掘竞赛,并获得ACM冠军荣誉,2012年在伦敦获得国际数据挖掘邀请赛冠军。

在大数据挖掘领域提出了大量创新性技术,并成功运用在电子商务、信息传播领域。所提出的Multifaceted Factorization Models技术在社交网络挖掘方面达到了国际先进水平,所提出的Ensemble Recommendation技术在互联网用户兴趣建模和推荐领域得到了大量的运用,并实现了可观的经济效益。

本文分享自微信公众号 - 达观数据(Datagrand_),作者:陈运文

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-07-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 达观数据携手天善智能共撰新作,探寻《数据实践之美》

    数据科学 人类探索世界的新工具 未来,是一个数据服务的时代。 数据科学作为探索数据世界奥秘的工具正在逐步被人类像材料学一样掌握,数据思维、数据治理、数据分析与...

    达观数据
  • 达观数据科技助力电商在大数据的海洋里破浪前行

    曾经有一个笑话“隔着互联网,没有人知道对面是不是一条狗。”如今再看这个笑话却已是有几分老古董的味道,互联网不再是蒙住人们双眼的纱布,反而透过这个介质我们的生活习...

    达观数据
  • 机器学习技术的重要性:达观数据亲身实践

    大数据时代里,互联网用户每天都会直接或间接使用到大数据技术的成果,直接面向用户的比如搜索引擎的排序结果,间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈...

    达观数据
  • 清华首推复合型大数据硕士项目

    大数据文摘
  • 2017大数据领域十大必读书籍

    历史大浪淘沙经过5次信息革命,终于迎来大数据时代,给信息领域灌入了强劲的血液,催生了很多新生力量,而各行各业谁也无法离开数据存活。尤其近几年来,全球范围内掀起了...

    挖掘大数据
  • 【干货】江青:大数据与领导决策

    [主讲者简介]国家统计局中国统计信息服务中心大数据研究室江青主任。 本文选自2015年8月26日在“2015中国国际大数据大会主题论坛”上江青所做的题为《大数据...

    数据派THU
  • 数据猿干货丨数字经济时代 企业需要掌握的五种大数据变现模式

    【数据猿导读】 在数字经济时代,谁能基于商业需求利用技术提炼数据“新石油”中的有效成分并将其转化为商业价值,最终获得数据投资回报,谁就是最后的赢家。但如何利用数...

    数据猿
  • 张涵诚:你如何成为优秀的数据经纪人

    数据猿导读 一个数据经纪人没有很深的行业知识和数据价值的理解能力,注定不会成为一个优秀的数据经纪人。今天我们就来来交流一下:“你如何成为优秀的数据经纪人”,如何...

    数据猿
  • 吃惊吗?原来这才是大数据的大问题!

    许多公司已经在积极使用大数据,只是它们没有称之为大数据罢了。虽然“大数据”一词有诸多争议,可是这项技术还是变得对公司业务来说必不可少。 ? 据Dresner咨询...

    小莹莹
  • 在构建数据中台之前,你需要知道的几个趋势

    近期数据中台的概念很火,如何将数据能力变成企业的核心竞争力,构建数据中台,用数据去驱动企业的决策,运营,成了大家都在谈的事情。

    凯哥

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动