0462-Hadoop和大数据要完蛋了吗？

作者：Alex Robbio，Belatrix Software的总裁兼联合创始人，去年在阿根廷获得了年度EY企业家奖

几个星期以前，Hadoop时代的两大巨头Cloudera和Hortonworks宣布他们将合并。该公告声称这将是“merger of equals(平等的合并)”。看到这两个开创性的先驱能走到一起是非常有趣的。

平等合并参考： https://www.cnbc.com/2018/10/03/cloudera-and-hortonworks-announce-all-stock-merger.html

我记得几年前这两家公司进入技术市场时，他们承诺帮助企业负责人重新构建他们的数据中心和IT架构 - 并大大降低存储和处理数据的成本，从过去常见的每TB数千美元。他们认识到各种数据源包括物联网设备，视频，交易日志，社交网络日志等产生的数据非常庞大，传统的数据基础设施根本不适合这些任务。他们使企业能够完成以前无法完成的项目。他们是解决“IT问题”转变为解决“业务问题”的核心，业务负责人很快就了解这些新技术的潜力，即通过数据为客户提供新服务。他们也是企业的核心，让企业可以根据数据做出决策，而不是根据高管的直觉。这是因为它们使企业可以分析他们收集的所有数据并使用它来做出决策。

现在这两家公司面临来自亚马逊和微软等公司的巨大竞争。现在的企业对于大数据的处理和分析有很多选择，尤其是在公有云上。我们还看到企业希望转向无服务器架构，其中应用程序可以使用第三方提供的后端即服务（backend-as-a-service）和功能即服务功能（function-as-a-service）。这里还有一个额外的好处：企业只需为他们使用的计算能力和存储付费。

所以，它不再仅仅是Hadoop。Cloudera的CEO Tom Reilly在合并后的评论中承认：“Hadoop发展得如此迅速，以至于我们甚至都不再提及它了。”另一篇文章也说明了企业在进行选择时已经不仅仅只有Hadoop，而且你不得不思考，如果这种趋势持续下去，技术的未来将是什么。正如这篇文章的作者所写，“重心已转移到其他地方。”

Tom Reilly的评论参考： https://www.cnbc.com/2018/10/03/cloudera-and-hortonworks-announce-all-stock-merger.html 另外一篇文章参考： https://venturebeat.com/2018/10/06/cloudera-and-hortonworks-merger-means-hadoops-influence-is-declining/

这一发展代表的是大数据现在变成了仅仅只是数据。无论大中小企业现在都可以获得比以往任何时候都多的数据，包括批量或者实时等。他们有更多的技术选择来使用这些数据构建服务 - 不同的场景使用不同类型的数据需要选择合适的技术来实现。例如，现在有更多的开源工具的选择，或者专有的机器学习平台。其中许多使得具有10年历史的Hadoop技术看起来过时了。

在大数据的第一次迭代中，大多数大型企业在研究的解决问题的技术一般是比如预测贷款违约或客户流失，而今天，企业的目标是为客户提供新的，更加个性化的服务。实时数据意味着您可以提供交互式服务和应用程序，这些服务和应用程序不仅会产生新的业务价值，更重要的是会产生客户价值。今天，当我与客户交谈时，无论是领先的零售商还是金融服务机构或其他行业，谈话都很少涉及大数据。相反，高管们专注于如何在由人工智能和机器学习主导的世界中为用户和客户提供强大的数字体验。使用数据，机器学习算法使企业能够提供新的服务，例如超个性化的零售体验，或者让银行预测何时有人可能对抵押贷款感兴趣。CB Insights进行的一项有趣的研究也证实了这一传闻，该研究发现，在公司盈利电话中，使用“大数据”词语的比使用“人工智能”的高管显著下降。

CB Insights的研究报告参考： https://www.cbinsights.com/research/artificial-intelligence-earnings-calls/

尽管如此，Hadoop仍然是许多企业的核心技术。Cloudera和Hortonworks将共同为客户提供更全面的服务和产品，例如端到端云大数据产品和对更复杂部署的支持。然而，技术世界继续快速发展，许多企业已经开始超越Hadoop技术。在接下来的几年，这将是一个有趣并值得关注的方向。

端到端的云大数据产品参考： https://go.forrester.com/blogs/cloudera-and-hortonworks-merger-a-win-win-for-all/

原文参考： https://www.forbes.com/sites/forbestechcouncil/2018/11/16/are-we-nearing-the-end-of-hadoop-and-big-data/#32a862c4e047

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。