慧辰资讯CTO马亮:大数据行业进入良性发展期,深度分析与智能化成为重要新趋势

数据猿导读

大数据行业在经历2015年的资本热潮后,2016年起进入快速发展阶段,在服务领域、业务模式和产品技术方面不断深化。面向企业的ToB类大数据服务,帮助企业重整业务模式,提升业务竞争力,受到众多企业重视,发展尤为迅速。为未来的进一步深化奠定了相应基础。

作者 | 马亮

本文长度为3000字,建议阅读6分钟

本文为数据猿年关策划活动《大数据的2016,我的2016》系列稿件,感谢本文作者 慧辰资讯 CTO 马亮 先生的投稿。

敬请期待春节后的2月16日,由数据猿与中欧商学院、腾讯视频共同举办的高端领袖线下演讲栏目中欧微论坛之《超声波》

大数据行业在经历2015年的资本热潮后,2016年起进入快速发展阶段,在服务领域、业务模式和产品技术方面不断深化。面向企业的ToB类大数据服务,帮助企业重整业务模式,提升业务竞争力,受到众多企业重视,发展尤为迅速,为未来的进一步深化奠定了相应基础。

回顾2016

1、资本热度下降,产业进入良性发展

进入2016年,资本市场对大数据行业关注持续下降,甚至媒体出现了大数据寒冬的说法。实际上,从资本与产业的成长关联曲线来看,资本投入高峰之后的下降期,才是产业真正持续上升期的开始。

进一步对2016年获得融资的大数据企业进行分析,可以发现,资本并非不看好大数据行业,而是逐渐回归冷静,以更理性的衡量标准(如收入与利润成长)来评估企业价值。大数据企业只要具备优秀的大数据服务力,能持续获得业务成长,仍会受到资本的青睐。

2015年热潮中涌现的许多大数据公司,在2016年趋于务实,切实深入到实际客户服务(甚至项目化服务)来提升自身竞争力。而善于炒作但缺乏实际硬实力的公司,其估值回落,不再受到关注。这种分化、去芜存精的过程,引导整个行业消除浮躁与泡沫,回归良性发展模式,实际对大数据行业的长期发展有利。

2、行业龙头积极推动大数据应用。但重基础设施建设,业务应用深度不足

企业是大数据应用服务的重要战场。2016年起,很多行业的领先大中型企业,在经历2015年对大数据的观望和初步认知后,开始积极摸索如何应用大数据到业务中。

纵观企业大数据应用的推进,可分两个层面:(1)基础设施建设。包括大数据源建设(引入与融合)和大数据软硬件技术体系重构;(2)面向具体业务需求(场景)的应用。

就很多企业实施情况而言,关注基础设施构建多于深度业务应用。很多企业积极将内外大数据进行融合,并通过采购相关软硬件技术服务产品重构技术体系,这更多解决的是企业IT部门的大数据需求(更大存储/更快的检索与处理能力)。在这个过程中,数据资产与系统整合、体系架构相关工具/平台软硬件产品的大数据供应商,受益颇多。

然而,企业应用大数据,最关注的还是对业务部门实际问题的解决。在这个层面上,当前远未令人满意:一是面向业务场景的应用偏少,二是相关应用的能力深度不足。

许多企业已建成的应用,思路仍是基础数据的统计查询(甚至是在新数据和技术架构按原业务理解重做一遍可视化),并没有深入分析,提炼出有价值的新元素为业务所用。企业业务人员(如销售)在经历眼花缭乱的可视化效果后,会发现新应用并没有帮助解决所关心的实际业务问题。这种期望与结果的差异,开始影响企业内大数据应用推进的进度和效果。

3、技术领域不断发展并有突破

基础计算架构上,2016年最大亮点是年中发布的Spark 2.0。新版本不仅速度更快,更重要的是提供了更好的SQL语句扩展,大大简化了企业现有应用向大数据迁移的复杂度。同时,新的Streaming API 通过结构化流处理机制将批处理和流式计算统一,使业务开发更加智能方便。

在算法理论上,深度学习因在语音/图像识别等领域的突破而在2016年受到大众关注。这个基于机器学习分支发展起来的学习理论已有太多介绍评述,这里不再赘述。

个人感觉值得重视的是结合大数据快速应用到新行业的能力。相比机器学习,深度学习大大简化了特征工程(选取更好的特征,需要更深入的领域知识和投入,常依靠领域专家的前期大量配合)工作。这意味着在进入新的领域时,借助大数据资源而非传统所需的领域专家的知识技巧,深度学习人员就能快速构建出应用的基本服务能力。我们也已经开始尝试将深度学习应用于一些新行业的分析应用中。

4、大数据助力人工智能提升,也为自己未来发展指出新的方向

2016年,人工智能随着AlphaGo的胜利重新回归产业的热点。此次人工智能重新崛起,大数据的支持功不可没。基于大数据的训练有效提升了深度学习的模型效果。如今,深度学习为代表的智能学习理论、大数据(训练资源)和以GPU为代表的计算架构,构成了当前人工智能体系的三驾马车。 而人工智能未来广阔的应用前景,实际也为大数据的应用指出了新的更有价值的方向。

展望2017

1、未来几年,大数据的行业应用将更加普及化、更广泛和更深入。秋天收获期尚未到来,说严冬更是尚早

应用范围更广: 大数据虽然已经进入了很多行业,但实际还有更多的行业是一片空白。以笔者近期交流的多个传统行业为例,其对大数据应用都处于摸索起步阶段,未来几年机会巨大。而即使在已应用的行业,应用服务当前也多集中于少量排头领先企业,大量的行业中游企业对大数据应用也很关注,只是需要合适的应用切入点。

服务能力更深入:现有的大数据应用,更多是新方法解决原有业务问题。实际上,大数据结合业务场景,能够创新出新的业务服务模式,这对大数据行业和客户的业务发展,都具有更大的意义。

2、解决实际业务需求、提供深度分析服务将成为企业大数据应用的最重要诉求

随着大数据基础资源投入建设逐渐完成,对业务需求的解决能力将成为企业对大数据应用关注的要点。大数据应用的深度,取决于两个要素:对业务的深入理解和精通大数据分析技术。前者需要熟悉行业/业务的专家,后者需要对大数据算法/模型熟悉的高级技术人员。

这种综合服务能力才能发挥大数据的实际价值,而这是现在实施大数据应用的供应商(大多纯计算与开发技术背景的)所不具备的,这也是导致现有应用业务价值偏低的重要原因。

未来几年,企业大数据服务将聚焦于深度洞察分析应用,真正挖掘出大数据的价值。而具备业务深入理解和大数据分析能力的大数据服务企业,会在企业大数据应用中受到更多欢迎。

3、人工智能与大数据结合,对各行业现有模式的突破和颠覆,甚至产生新的行业

2017年,人工智能将接棒大数据,成为下一个产业发展的热点。可以预见,未来5年,人工智能会在很多领域有更大的应用突破。而作为其核心支撑的大数据,能够与人工智能配合,为人类生活催生创造如何的变化,前景令人期待。

对于人工智能的未来潜力,公众如今存在多种声音。媒体和资本过于乐观和夸大,而普通大众则存在许多担心。而人工智能专业人员则持乐观但谨慎的态度。

回顾人工智能的发展,当前的突破更多是之前多年积累的一次阶段式上升。人工智能当前擅长解决的仍然是封闭条件下有限规则的智能问题(如围棋),距离人类具备的自主意识和创造能力尚很遥远。同时,业界也在期待脑科学研究能有新发展,也许能为人工智能技术再次提升提供理论基础。

4、大数据隐私暗流涌动,需要相关法律与管理制度尽快规范

随着大数据应用的深入,涉及用户隐私的大数据资源迅速增加,相关数据的管理和交换过程中的数据流失泄露的风险,成为日趋重要的问题。当前,在一些地下黑色产业链上,涉及个人隐私的大数据交易已有相当大的规模,逐渐成为产业化,其未来的潜在危害巨大。

国家虽然在大数据领域有基本指导性法规,但距离实际可操作层面尚远,不能有效预防和解决相关的潜在隐患。

在可预见的未来,大数据服务将如同云计算一样,逐渐成为各领域服务与企业经营的必不可缺的基础构件。越来越多的大数据应用,与各种新技术结合,涵盖社会生活的各方面,创造更大的价值,也使我们的生活更加方便舒适。

关于作者

马亮,慧辰资讯CTO,主管公司IT技术战略与企业大数据服务的技术发展。博士毕业于清华大学计算机系,在自然语言处理、机器学习与企业大数据业务分析建模领域具有丰富经验。

原文发布于微信公众号 - 数据猿(datayuancn)

原文发表时间:2017-01-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

如何成为一名大数据工程师?

作为IT类职业中的“大熊猫”,大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段,这个领域出现很大的人才缺口。

722
来自专栏大数据文摘

如何成为一名大数据工程师?

1554
来自专栏灯塔大数据

荐读|数据分析师的职业规划之路

? 数据分析师作为一个出现时间不长的工种,大数据时代下,成为螺丝钉还是成为龙头,需要尝试新的可能。” 数据分析师手中拥有一座宝藏。作为滴滴出行数据分析团队的负...

3987
来自专栏机器人网

追踪国外的人工智能进展 关注热点

探讨人工智能,就要回答什么是智能的问题,综合各类定义,智能是一种知识与思维的合成,是人类认识世界和改造世界过程中的一种分析问题与解决问题的综合能力。对于人工智能...

2775
来自专栏AI科技评论

Michael I. Jordan:或许该对 AI 教学进行一些思考

AI 科技评论按:11 月 15 日,「全球 AI+智适应教育峰会」在北京嘉里中心大酒店盛大开幕,峰会由雷锋网联合乂学教育松鼠 AI,以及 IEEE(美国电气电...

744
来自专栏AI科技评论

对话|腾讯优图杰出科学家贾佳亚:在企业做研究,是我的新课题

2015年的2月,Uber一口气挖走了卡内基梅隆大学机器人实验室约40名研究者,造成大量人才流失。自此以后,关于学术人才的出走是否会导致研究受阻的讨论不断。其实...

37014
来自专栏人称T客

动不动就高达75%的NPS指是否可信?

对于SaaS业务来说,NPS(净推荐值)是衡量客户满意度的重要指标,也是衡量客户关系健康状况的一个指标。具体体现是客户愿意向朋友推荐企业产品的可能性,NPS值越...

3487
来自专栏PPV课数据科学社区

数据分析师职业发展白皮书(2015版)第一——三部分

数据分析师职业发展白皮书(2015版) 目 录 一、是技术也是艺术——CDA研究院和业界前沿公司和对数据分析的认识 二、数据分析师职业发展历程 ...

4555
来自专栏大数据挖掘DT机器学习

数据挖掘工作总结(职业篇)

前面对数据挖掘相关资源等等进行了总结。但是,很多人不明白学习数据挖掘以后干什么,这个问题也经常被问到。记得刚学数据挖掘的时候,有一个老师说学数据...

3717
来自专栏SDNLAB

刘韵洁:人工智能将引发未来网络产业变革

刘韵洁 中国工程院院士,江苏省未来网络创新研究院院长,北京邮电大学信息与通信工程学院院长,中国联通科技委主任。通信与信息系统专家,主要研究领域为信息化网络的建设...

35212

扫码关注云+社区