专栏首页Hadoop实操0462-Hadoop和大数据要完蛋了吗?

0462-Hadoop和大数据要完蛋了吗?

作者:Alex Robbio,Belatrix Software的总裁兼联合创始人,去年在阿根廷获得了年度EY企业家奖

几个星期以前,Hadoop时代的两大巨头Cloudera和Hortonworks宣布他们将合并。该公告声称这将是“merger of equals(平等的合并)”。看到这两个开创性的先驱能走到一起是非常有趣的。

平等合并参考: https://www.cnbc.com/2018/10/03/cloudera-and-hortonworks-announce-all-stock-merger.html

我记得几年前这两家公司进入技术市场时,他们承诺帮助企业负责人重新构建他们的数据中心和IT架构 - 并大大降低存储和处理数据的成本,从过去常见的每TB数千美元。他们认识到各种数据源包括物联网设备,视频,交易日志,社交网络日志等产生的数据非常庞大,传统的数据基础设施根本不适合这些任务。他们使企业能够完成以前无法完成的项目。他们是解决“IT问题”转变为解决“业务问题”的核心,业务负责人很快就了解这些新技术的潜力,即通过数据为客户提供新服务。他们也是企业的核心,让企业可以根据数据做出决策,而不是根据高管的直觉。这是因为它们使企业可以分析他们收集的所有数据并使用它来做出决策。

现在这两家公司面临来自亚马逊和微软等公司的巨大竞争。现在的企业对于大数据的处理和分析有很多选择,尤其是在公有云上。我们还看到企业希望转向无服务器架构,其中应用程序可以使用第三方提供的后端即服务(backend-as-a-service)和功能即服务功能(function-as-a-service)。这里还有一个额外的好处:企业只需为他们使用的计算能力和存储付费。

所以,它不再仅仅是Hadoop。Cloudera的CEO Tom Reilly在合并后的评论中承认:“Hadoop发展得如此迅速,以至于我们甚至都不再提及它了。”另一篇文章也说明了企业在进行选择时已经不仅仅只有Hadoop,而且你不得不思考,如果这种趋势持续下去,技术的未来将是什么。正如这篇文章的作者所写,“重心已转移到其他地方。”

Tom Reilly的评论参考: https://www.cnbc.com/2018/10/03/cloudera-and-hortonworks-announce-all-stock-merger.html 另外一篇文章参考: https://venturebeat.com/2018/10/06/cloudera-and-hortonworks-merger-means-hadoops-influence-is-declining/

这一发展代表的是大数据现在变成了仅仅只是数据。无论大中小企业现在都可以获得比以往任何时候都多的数据,包括批量或者实时等。他们有更多的技术选择来使用这些数据构建服务 - 不同的场景使用不同类型的数据需要选择合适的技术来实现。例如,现在有更多的开源工具的选择,或者专有的机器学习平台。其中许多使得具有10年历史的Hadoop技术看起来过时了。

在大数据的第一次迭代中,大多数大型企业在研究的解决问题的技术一般是比如预测贷款违约或客户流失,而今天,企业的目标是为客户提供新的,更加个性化的服务。实时数据意味着您可以提供交互式服务和应用程序,这些服务和应用程序不仅会产生新的业务价值,更重要的是会产生客户价值。今天,当我与客户交谈时,无论是领先的零售商还是金融服务机构或其他行业,谈话都很少涉及大数据。相反,高管们专注于如何在由人工智能和机器学习主导的世界中为用户和客户提供强大的数字体验。使用数据,机器学习算法使企业能够提供新的服务,例如超个性化的零售体验,或者让银行预测何时有人可能对抵押贷款感兴趣。CB Insights进行的一项有趣的研究也证实了这一传闻,该研究发现,在公司盈利电话中,使用“大数据”词语的比使用“人工智能”的高管显著下降。

CB Insights的研究报告参考: https://www.cbinsights.com/research/artificial-intelligence-earnings-calls/

尽管如此,Hadoop仍然是许多企业的核心技术。Cloudera和Hortonworks将共同为客户提供更全面的服务和产品,例如端到端云大数据产品和对更复杂部署的支持。然而,技术世界继续快速发展,许多企业已经开始超越Hadoop技术。在接下来的几年,这将是一个有趣并值得关注的方向。

端到端的云大数据产品参考: https://go.forrester.com/blogs/cloudera-and-hortonworks-merger-a-win-win-for-all/

原文参考: https://www.forbes.com/sites/forbestechcouncil/2018/11/16/are-we-nearing-the-end-of-hadoop-and-big-data/#32a862c4e047

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表

    Fayson
  • 重磅 | Apache Spark 社区期待的 Delta Lake 开源了

    2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上,Databricks 的联合创始人及 CEO Ali Ghodsi 宣布...

    Fayson
  • 什么是数据科学工作台?为什么数据科学家需要它?

    数据科学本质上是一个探索和创新的过程,因为通常对于现在的问题没有明确的答案,也没有获得答案的确定的途径。数据科学家用数据和他们的经验研究问题,探索数据,创建模型...

    Fayson
  • 2014年八大最热门的大数据工作

    大数据时代,数据过剩,人才短缺,越来越多的IT专业人士希望能够进入充满机遇的大数据领域,但是,到底哪些具体的大数据专业岗位和人才最为吃香呢?人力资源公司Kfor...

    小莹莹
  • Hadoop大数据计算服务平台你了解多少?武汉波若大数据如何实现海量数据存储计算?

    Hadoop数据存储计算平台,运用Apache Hadoop关键技术对其进行产品研发,Hadoop是一个开发设计和运作解决规模性数据的软件系统,是Apache的...

    数道云大数据
  • Hadoop环境中管理大数据存储八大技巧

    传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。...

    加米谷大数据
  • 大数据学习、工作过程中最容易掉入的十大天坑!你中招了吗?

    “数据科学家=统计学家+程序员+讲故事的人+艺术家。“ – Shlomo Aragmo。博主总结了一些在大数据学习工作过程中容易出现的一些问题,希望能给各位带来...

    大数据风风
  • Hadoop环境中管理大数据存储八大技巧

    随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。

    一起学习大数据
  • 干货|管理大数据存储的十大技巧

    在1990年,每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DA...

    灯塔大数据
  • 你可能不知道大数据开发的10个技巧

    “当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff

    风火数据

扫码关注云+社区

领取腾讯云代金券