大数据挖掘技术在企业创新中的应用（下篇）

4.1数据统计是大数据的最直接应用

数据统计是大数据应用的最直观的形式，数据统计在企业中常被称为商业智能（BI, Business Intelligence）系统，使用者们通过观察数据报表来掌握企业的经营状况，发现企业运营的问题。大数据技术利用各种分析方法和工具在大规模海量数据中建立模型和发现数据间的潜在关系，帮助管理者们发现着眼点。

图8：商业智能（Business Intelligence）系统是最直接的应用

随着技术的进步，数据统计应用发展的越来越迅速，例如传统按周按天生成的数据报表，可以缩短为小时级甚至分钟级，同时报表的细分刻画能力也更强，有助于更及时的掌握业务变化情况，更深入了解变化的细节。

4.2 个性化技术蕴藏巨大价值

每个人生来就是与众不同的，需求也天然是个性化的。以时装产业为例，每个用户穿着打扮的口味、偏好、喜爱的款式是各不相同的，大数据能充分发挥所长，挖掘出用户的个性化需求并加以满足。亚马逊公司（Amazon）通过挖掘用户在线的浏览行为和购买记录，成功挖掘出了用户个性化模型并进行针对性商品推荐，极大促进了商品的购买率。目前亚马逊上超过30%的购买收入由个性化推荐系统所贡献，是了不起的成就。（达观数据陈运文）

图9：个性化推荐系统帮助人们解决信息过载的困扰

私人订制就是个性化的一个典型案例，以往私人订制是高端人群独有的服务，价格昂贵，耗时耗力，而大数据技术能将定制过程自动化，降低成本，让普罗大众享受到个性化服务的优势。亚马逊（Amazon）总裁杰夫·贝佐斯曾说过：“如果我的网站有一百万个顾客，我就应该有一百万个商店”。

个性化数据技术对合理调配企业资源也有积极的意义，例如美国的Dunnhumby Shop公司通过分析消费者来访问超市的时间和消费明细，对不同顾客群体采取针对性的促销手段，同时帮助供应商对不同区域制订合理有效的价格和库存和配送方案，合理的节约了运营成本。

4.3 最有吸引力的应用：预测技术

我们每天都在进行着大大小小的预测：如预测从家里出发到工作地点所需要的时间；预测某款产品发布以后一个月内的订单量。预测的愈准确，则成功的把握愈大。如果我们拥有百分之百准确的预测能力，像先知穆罕默德那样，就会变得无往不利。

图10：随着技术的进步，大数据正在赋予我们更强的洞察未来的能力

谁能预知未来？——大数据技术能帮你做到，因为它熟知过去。随着技术的进步，借助时间序列分析技术，·通过对趋势、季节变动、循环波动和不规则波动的因素的细致把握，大数据正在赋予我们更强的洞察未来的能力。

美国第二大连锁超市Target，通过大数据技术分析顾客的详细购买记录，判断出某位还在读书的年轻女孩已经怀孕了，并给她寄去了大量婴儿用品的优惠券，这位女孩的父亲收到优惠券后极为惊讶，经过和女儿的进一步沟通才发现真的已经有孕在身了。大数据技术比父亲更早预测出了真相，这个真实的故事证明了大数据预测的准确率在很多方面能够强过人类经验。

4.4 分类和回归技术

如同谚语“朝霞不出门，晚霞行千里”所说的，我们常常通过经验来分析不同现象之间存在的潜在关联和因果关系。而如今大数据技术能代替人工经验来更好的分析数据间的关联关系，帮助找出规律。

常见的包括两类技术，一类称为回归分析技术（Regression Analysis），它通过统计科学来把握两个或多个变量间相关关系的强度。另一类称为分类技术（Classification），分类是指通过分析已标注好的训练数据，来自动的将新的未知数据按种类、等级或性质分别归类的过程。

分类和回归是人脑最常进行的操作，现在计算机也能逐步代替人类完成这样的操作，且效率是人类的数万倍。典型的应用是英国Adzuna公司根据积累的海量职位薪酬数据，自动为招聘双方提供薪酬制定的科学依据，其最优的预测算法非常精确，生成的预测值和实际薪水值误差不到10%。Adzuna已成为英国内阁高官“幕后智囊团”，帮助英国政府了解失业率、职位空缺、薪资水平等经济发展情况，制定国策。

4.5 辅助决策系统

企业战略决策往往决定了企业的生死存亡，怎样才能更科学合理进行决策？华为公司总裁任正非曾说过“要让听得见炮火的人来决策”，提出了要从实际数据中产生科学决策结果。

大数据技术基于海量一线数据，能让决策更科学，降低误判的风险。其中大数据辅助分析有一个称为GREAT的原则：Guided, Relevant, Explainable, Actionable, Timely，基于GREAT原则越来越多的企业将会用好大数据，发挥智囊团的作用。

图11：大数据辅助分析的GREAT原则

5、探索、机遇和挑战

5.1 国内外大数据行业发展态势

在上述大数据技术上，通过串联起特定的数据采集、存储、挖掘、应用的机制，就能诞生出一个个具体的创新应用。例如通过RFID技术采集仓储信息，在云端存储数据并加上预测技术，能实现一个智能的物流管理系统；通过可穿戴感知器设备，加上私有云、个性化、社交网络等技术，则可以实现一个智能健康管理系统等等，可供拓展的机会有很多。

近年来大数据行业发展极为热烈：2009年美国政府启动Data.gov网站开放了社会公共数据的大门，向公众提供各种各样的政府数据。2009年欧洲一些研究型图书馆和科技信息研究机构建立了伙伴关系，致力于改善在互联网上获取科学数据的简易性。

2011年中国工信部发布了物联网十二五规划，将信息处理技术作为4 项关键技术创新工程提出，包括了海量数据存储、数据挖掘、图像视频智能分析，都是大数据的重要组成部分。2012年瑞士达沃斯世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响Big Data, Big Impact》 宣称，数据已经成为一种新的经济资产，就像货币或黄金。近年来大数据行业的投资并购，新兴企业发展等，更是呈现出如火如荼的发展态势。达观数据（http://www.datagrand.com）也是大数据浪潮中涌现出的杰出代表。

5.2 大数据时代面临的风险挑战

大数据时代所面临的重大风险之一是用户的隐私保护问题。近年来国内外多起的密码泄漏、隐私侵权等事件，暴露了这方面存在的问题。一方面我们需要对用户数据进行创新性的挖掘，另一方面还需要兼顾用户隐私的保护，两者是硬币的正反两面，其平衡和博弈的问题会始终存在。

大数据思维则是面临的更严峻挑战，则来自思维方式的转变。在企业经营逐步从传统粗放式向大数据精细化转向时，以往“差不多”、“还可以”、“领导说”等拍脑袋决策的方式要逐步让位于精确的数据分析、统计、预测系统，从“行或不行，官大的说了算”转变为“行或不行，数据说了算”，从“事后统计”转变为“事前预测”，是大数据思维方式的落实和转变。

5.3 大数据时代的创新机遇

图12：大数据时代的创新机遇

信息技术正在以突飞猛进的速度向前进步，包括新传感器采集技术、移动互联网技术、社交网络技术的蓬勃发展，将带来大量的创新性应用。大数据是新时代的石油，通过研发分析各种多元结构化数据的高效技术，提高数据产品的易用性，让数据分析实现“开箱即用”，其蕴藏的巨大能量将使数据成为政府和企业建立核心竞争力的关键途径，甚至能够颠覆很多传统行业的运作方式，带领我们进入信息革命的新时代。

对我们每个人而言，跟随大数据的浪潮，把握机遇，投身其中，在大数据创新的浪潮之巅定能一展身手。（达观数据陈运文）

作者

达观数据创始人 陈运文

现任达观数据科技CEO，上海市计算机学会多媒体分会副会长。中国知名大数据技术专家，国际计算机学会（ACM）和国际电子电器工程师学会（IEEE）高级会员，中国计算机学会（CCF）会员，复旦大学计算机博士和杰出毕业生，曾担任盛大文学首席数据官，腾讯文学高级总监、数据中心负责人，百度核心技术研发工程师等职务；QCon大数据分论坛主席和最佳技术讲师。

在数据挖掘和计算机信息处理领域拥有30项国家发明专利，并成功运用在国内互联网领域。在国际顶级学术期刊和会议上发表多篇SCI论文，多次代表中国参加国际数据挖掘竞赛，并获得ACM冠军荣誉，2012年在伦敦获得国际数据挖掘邀请赛冠军。

在大数据挖掘领域提出了大量创新性技术，并成功运用在电子商务、信息传播领域。所提出的Multifaceted Factorization Models技术在社交网络挖掘方面达到了国际先进水平，所提出的Ensemble Recommendation技术在互联网用户兴趣建模和推荐领域得到了大量的运用，并实现了可观的经济效益。