【商业智能】大数据和BI商业智能的差别和影响

之所以要区分大数据应用与BI(商业智能),是因为大数据应用与BI、数据挖掘等,并没有一个相对完整的认知。

  BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

  伴随着BI的发展,是ETL,数据集成平台等概念的提出。

  ETL,Extraction Transformation Loading,数据提取、转换和加载,数据集成平台主要功能对各种业务数据进行抽取和相关转化,以此来满足BI、数据仓库对数据格式和内容挖掘的要求。

  数据集成平台的基础工作与ETL有很大的相似性,其主要功能是实现不同系统不同格式数据地抽取,并且按照目标需求转化成为相应的格式。数据集成开始是点对点的,慢慢地发现这种模式对于系统之间,不同所有权的企业数据流向以及数据标准控制很难,为此,诞生了对统一企业数据平台的需求,来实现企业级之间的数据交互。

  数据集成平台就像网络中Hub,可以连接所有应用系统,实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生,现在已经跨越了最初的需求,上升到了一个更高的阶段。

  如今大数据应用更多关注非结构化数据,更多谈论互联网,Twitter、Facebook、博客等非结构化数据,如此理解大数据应用,显然就有些走偏了。结构化数据也属于大数据,且呈现出相同的特点和特征,如数据量大,增长越来越快,对数据处理要求高等。

  结构化数据是广义大数据中含金量或者价值密度最高的一部分数据,与之相比,非结构化数据含金量高但价值密度低。在Hadoop平台出现之前,没有人谈论大数据。数据应用主要是结构化数据,多采用IBM、HP等老牌厂商的小型机或服务器设备。

  采用传统方法处理这些价值密度低的非结构化数据,被认为是不值得的,因为其产出实在是有限。Hadoop平台出现之后,提供了一种开放的、廉价的、基于普通商业硬件的平台,其核心是分布式大规模并行处理,从而为非结构化数据处理创造条件。

  大数据应用的数据来源应该包括结构化数据,如各种数据库、各种结构化文件、消息队列和应用系统数据等,其次才是非结构化数据,又可以进一步细分为两部分,一是社交媒体,如Twitter、Facebook、博客等产生的数据,包括用户点击的习惯/特点,发表的评论,评论的特点,网民之间的关系等,这些都构成了大数据来源。另外一部分数据,也是数据量比较大的数据,就是机器设备以及传感器所产生的数据。以电信行业为例,CDR、呼叫记录,这些数据都属于原始传感器数据,主要来自路由器或者基站。此外,手机的置传感器,各种手持设备、门禁系统,摄像头、ATM机等,其数据量也非常巨大。

  对于分析大数据的工具,目前所有的分析工具都侧重于结构化分析,例如针对社交媒体评论方向的分析,根据特定的词频或者语义,通过统计正面/负面评论的比例,来确定评论性质。如果有一个应用系统是接收结构化数据的,例如一个分析系统,接收这些语义就可以便于分析。

  让大数据应用落地,其中的关键在于与行业应用的深度融合。

  公安行业的视频影像处理是一个特定应用领域,传统BI、ETL工具拿这些数据没有办法,采用分布式Hadoop进行处理能够带来很好的效益,因为Hadoop可以处理数据量足够大。公安行业实际上已采集了大量视频影像数据,利用这些数据,可以追踪一个嫌疑犯的行踪,什么时间在全国哪些地区出现过。这些应用不可能单纯依靠人的力量,需要借助人脸识别、图像识别技术、模式处理,数据压缩等技术,需要海量处理软件,抓出相关特征,帮助公安人员提高工作效率。

  在电信行业,计费系统实际上是对各种数据进行整合后的结果,是一个缩小的数据。借助大数据应用,运营商可以原始大数据进行分析,例如分析传感器数据是否有异常,从而判断设备异常等,这些都是一些用传统BI工具无法实现的分析,其结果往往会出乎意料,帮助运营商提高服务水平以及用户的满意度。

  在互联网行业,通过分析手机上网轨迹,可以分析了解客户群,了解用户的偏好,此外,获取地理位置的信息,也具有特定价值。

  从这些行业大数据应用分析来看,一个是视频影像处理,一个是日志分析,另外一个是处理特定文件格式的分析处理,彼此之间显然没有任何通用性的特点,其共同点就是利用了廉价的大数据处理平台。

  Gartner:大数据宣传在商务智能市场成效不明显

  市场研究公司Gartner指出,去年的大数据宣传未能促进全球商务智能和分析市场出现快速增长。

  Gartner称,尽管商务智能和分析市场在2013年增长了8%,增长至144亿美元,但是涨幅低于预期。大数据通常指对来自社交网络、传感器等来源的海量非结构化信息进行的挖掘与分析,而传统的商务智能只是报告和分析结构化数据存储。

  Gartner 分析师Dan Sommer和Bhavish Sood在报告写道: “虽然大数据宣传力度在2013年达到了高潮,但是对分析市场的影响却不是很大。”报告称,在Gartner调研的机构中,仅8%的机构实际部署了大数据项目,57%的机构仍处于调研和规划阶段。这一水平已经影响到了大量企业的创新周期。

  大数据巨头在2013年的营利与增长速度之间出现了脱节。SAP、甲骨文、IBM和赛仕研究所等四大商务智能公司的增长率严重低于市场平均增长率。这些厂商面临的核心挑战是他们的成熟程度。“他们的核心解决方案一直是IT主导的企业商务智能平台,并通过语义层将信息与报告、查询与在线分析处理等功能连接在一起。尽管价值昂贵,但是大多数机构部署的均为这种类型的商务智能解决方案。”

  为此类工具提升了低成本备选方案的Jaspersoft和Pentaho等公司在去年获得了快速增长,其增长率高于市场平均增长率。Gartner的报告指出,Tibco Spotfire和Tableau等公司在2013年推出的数据发现工具对于商务智能终端用户体验来说可以说是一种全新的标准。这些工具让用户对数据集有了更多的视觉感受。

  分析师指出,大型商务智能厂商去年一直在不遗余力的开发自己的数据发现产品。这一举措将整个市场的竞争推出到了一个更激烈的阶段。基于云的商务智能在去年开始受到关注。尽管其仅占有4%的市场份额,但是其增长率达到了42%。“尤其是小型公司已经开始向云迁移,并将其视为一种可以处于有关大数据和分析等事务的使能器。”

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2015-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

华为史无前例集中发布AI战略 : 2款AI芯片、深度学习框架MindSpore

华为本次发布的 AI 全栈式解决方案,让这家公司成为目前全球唯一提供 AI 全栈软件和系列化芯片的提供商。同时,华为还提供了一套与之配套的统一开发框架。

1333
来自专栏灯塔大数据

回顾2016年大数据发展,盘点十大热门数据岗位

随着很多大公司对数据分析需求增多,数据相关岗位的人才需求量也越来越大。 数据学作为一门学科,已经受到时代的追捧。数据学,或者更准确来说,大数据,在2000年早...

3846
来自专栏大葡萄元元

(二)市场+运营+商务需要积累什么?

   上次说到渠道商务的局限性,权限有限可运作的范围也有限,但对于渠道不能光是坐等资源上门,对于有潜力的APP产品应该懂得挖掘......接触越来越多的开发者以...

841
来自专栏灯塔大数据

2017年会成为大数据的扫盲年吗?

过去一年内,我们看到了大数据的井喷式发展,数据处理分析成为热门,大数据行业呈现出信息激进之势。这导致数据科学家、数据应用程序员和商业分析师等大数据方面的人才成为...

3007
来自专栏云计算D1net

关于云技术混合架构的三个认识误区

我以一位负责以云服务为基础实现多种业务解决方案交付工作的CIO的身份表达自己对混合架构的观点。在过去五个月中,我有幸参与到十几次高层对话当中,交流对象包括多位来...

2916
来自专栏织云平台团队的专栏

【活动】腾讯运维总监带你探索 AIOps

5008
来自专栏Spark学习技巧

从架构理解价值-我的软件世界观

在浩大的软件世界里,作为一名普通程序员,显得十分渺小,甚至会感到迷茫。我们内心崇拜技术,却也对日新月异的技术抱有深深的恐惧。技术市场就像这喜怒不定的老天爷,今天...

742
来自专栏人工智能的秘密

知识图谱技术已发展得相对成熟,未来的探索方向在哪

前段时间被沙特阿拉伯授予公民身份的人形机器人“索菲亚”,再一次颠覆了人们对人工智能技术的认知。“索菲亚”多次与人类交锋并公开发表言论的过程中,我们感受到了基本的...

5966
来自专栏AI科技大本营的专栏

AI 行业实践精选:五条建议让你的 Chatbot 出人头地

Chatbots 是客户服务的新阵地——它不仅减少了人类代理所带来的影响,还帮助企业在运营过程中节省了大量的资金。 然而,Chatbots 带来的体验迄今未能...

38210
来自专栏云社区全球资讯抢先看

想知道人工智能将来是怎样个性化定义我们的工作的么?

人工智能在工作中的应用早已经开始。然而,随着企业办公技术的不断发展和持续迭代,我们必须要知道AI将如何在未来影响我们在工作中的角色和责任。

2142

扫码关注云+社区

领取腾讯云代金券