解读 | 数据分析的发展和演变经过哪几个阶段

作者: Deepesh Nair

编译: Mika

本文为 CDA 数据分析师原创作品,转载需授权

近年来,我们在信息技术领域取得了巨大进步,在技术生态领域中取得的一系列革命性成果也确实值得称赞。在过去的十年到二十年里,数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的,市场中扮演什么角色,以及将如何重塑商业业务。

对于那些已经意识到其潜力的人群来说,科技是一种福音,然而对于那些无法跟上其快速发展的人群来说,这也是一种考验。如今,几乎每个行业都离不开数据分析。

在本文中将总结近年来数据分析的发展和演变,简化各种术语,对一些常见应用场景进行解释。让我们开始吧!

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期,客户(业务)和生产过程(交易)被集中到巨大的存储库中,如eCDW(企业整合数据仓库)。在对商业现象的客观理解方面取得了真正的进展, 从而让管理者在做出决策时能够基于对事实的理解,而不是仅凭直觉

这个阶段中数据通过ETL和BI工具收集、转换和查询。分析类型主要分为描述性(发生了什么)和诊断性(为什么会发生)。

然而,这个阶段的局限在于数据仅在公司企业内部使用,即商业智能活动只能处理过去发生的事情,而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区,试图用更广泛的方法进行更复杂的分析时,前一阶段的数据分析局限性变得更加突出。

企业都开始通过外部资源获取信息,比如点击流、社交媒体、互联网等,与此同时对新工具的需求也越发明显。不可避免地,“大数据”一词出现了,为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段,公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是,因此应运而生的新兴的群体,即如今所称的“开源社区”将产生巨大的影响力,这也是数据分析 2.0时代的标志。

在社区前所未有的支持下,大数据工程师,Hadoop管理员等角色在就业领域发展壮大,并且对每个IT企业都至关重要。科技公司急于开发新的框架,这些框架不仅能够收集、转化处理大数据,而且还能在集成预测性分析。而且,进一步通过描述性和诊断分析的结果检测趋势、聚类和异常,并预测未来趋势,这也使其成为重要的预测工具。

在今天的技术生态系统中,我个人认为“大数据”这个术语已经被大量使用,甚至滥用。从技术上讲,如今“大数据”指的是所有数据,或者只是指数据。

数据分析 3.0→ 功能强大的数据产品

开创性的大数据公司开始投资数据分析,从而支持面向客户的产品,服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站,所有这些都是由数据分析所驱动的。大数据现象迅速蔓延,如今不仅是科技公司在通过数据分析开发产品和服务,几乎每个行业的公司都是如此。

另一方面,大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时,大多数企业和非科技公司却因为忽略数据而失败惨重。因此,数据科学领域应运而生,旨在使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上,数据科学领域是跨学科的,它被定义为“结合统计、数据分析、机器学习等相关方法的概念”,从而用数据“理解和分析实际现象”。换句话说,良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家,他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展,并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争,公司不仅通过改善内部决策等传统方式,而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展,在内部设立更多的研发部门,比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

数据分析 4.0 → 自动化功能

主要有四种分析类型:描述,阐述过去; 诊断,利用过去的数据研究现在; 预测,通过基于过去数据的见解来预测未来; 规范,通过模型指导最佳行为。

虽然数据分析3.0包含了上述所有类型,但它强调的是最后一种,并且引入了小规模自动化分析的概念。

通过机器学习创建更多模型,从而让预测变得更加细化和精确。但是,部署这类定制模型的成本和时间是十分昂贵的。最终,通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问,人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果,自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为,人与智能机器的强强联合,从而实现更好的成果。

与其思考“人类的哪些工作将被机器取代?”我宁愿乐观地考虑,在机器的帮助下,企业能取得哪些新成就?我们该如何在灾难易发地区,通过人工智能程序减少伤亡人数;或者如何在贫困地区建立人工智能驱动的电子学校等。

总而言之,我对数据分析的发展充满自信,关键在于我们能否积极地接受和应对其带来的影响。

原文链接:

https://towardsdatascience.com/the-evolution-of-analytics-with-data-8b9908deadd7

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2018-10-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

培训云计算架构师需要学习五件事

人们处理和思考IT的方式已经发生了根本性的变化。一些成功的IT专业人员现在影响了企业的业务模式和策略。数字化转型正在影响所有业务垂直领域,而云计算架构师在支持下...

38412
来自专栏python+iOS学习交流

30KiOS程序员的简述:如何成为高级开发人员

本篇文章适用于所有在这个行业已经有了几年时间后想要在职业生涯中取得突破的开发人员,编程人员和程序员(或者你可能刚刚开始,但希望你能看到你的路径)。本文适合那些有...

1202
来自专栏华章科技

数据能干什么,值得我们好好思考!

5年前 我加入Airbnb成为了一名数据科学家。那个时候,只有很少的人知道这家公司,而整个公司只有7个人。

712
来自专栏罗超频道

未来的地图应该是什么样?百度告诉我们要有AI

每个工作日的下午6点多,当我在办公室时,都会收到一条来自百度地图的推送,有时候是“现在去同和XX,路途较为拥堵,您可规避路线出行。”“现在去同和XX,一路畅通,...

731
来自专栏数据科学与人工智能

【陆勤阅读】背后 :数据能干什么,值得我们好好思考

5年前 我加入Airbnb成为了一名数据科学家。那个时候,只有很少的人知道这家公司,而整个公司只有7个人。 把我招进来是我们创始人特别具有前瞻性的行为,大数据的...

2287
来自专栏数据科学与人工智能

【数据科学】张溪梦:四个案例讲透数据科学与商业结果结合的原力

论坛君 9月11日—9月12日,由经管之家(人大经济论坛)主办的“2015中国数据分析师行业峰会(CDA•Summit)”在北京举行。本文是Growing.io...

2579
来自专栏机器之心

独家专访 | 从亚马逊到阿里,任小枫想用计算机视觉推动生活智能化

机器之心原创 作者:刘燕 6 月 28 日,任小枫从西雅图飞回中国,第一站落地北京在优酷参加入职阿里巴巴之后的第一次国内会议。会后,他接受了机器之心的独家专访,...

4678
来自专栏PPV课数据科学社区

面向IT专业人员的8个新兴AI工作

如果你正在观察人工智能对IT组织的影响,那你可能会先从自己的工作开始。机器人能做你现在正在做的事吗?人工智能创造了什么样的IT角色?我们和AI和IT职业专家进行...

3178
来自专栏华章科技

5年400倍增长, Airbnb首位数据科学家揭秘他们如何运用大数据

当时人们连公司的名字都不会发音,如果不算正在接受心理咨询的哥们儿,实习生,旁边咖啡店里的咖啡师,团队只有大约七个人。我们的公司就在创始人在SOMA的公寓旁。工作...

922
来自专栏EAWorld

航空业大数据治理:规划企业数据架构的两种模式和三个关键技术

目录: 一、航空业数据治理现状 二、航空业大数据治理的三个发展趋势 三、规划企业数据架构的两种模式 四、规划企业数据架构的三个关键技术 五、总结 一、航空业数据...

5718

扫码关注云+社区