你知道DevOps,但不一定知道DataOps

当前影响企业数据中心的相关核心趋势包括诸如云计算、容器和虚拟化、微服务、机器学习和数据科学、闪存、边缘计算、NVMe和GPU等技术。

这些技术对于推动当前企业组织机构的数字化转型都非常的重要。但难的是:接下来会发生什么呢?哪些新兴技术或趋势的转变有望成为数据中心业界的下一个大事件呢?而这些新兴的技术及趋势又将对硬件和软件市场产生什么样的影响呢?

目前,一种新兴的趋势已经开始在大型企业中获得了较为广泛的关注。这是一种被称为“DataOps(数据操作运营)”的实践方案。这一新的术语是由另一个更为出名的“DevOps”这一概念衍生而来的,“DevOps”这一概念在十年前就已经出现了,其目的是整合软件的开发(“dev”)和操作运营(“ops”)。尽管DataOps与DevOps在某些方面的目标是一致的,但其更为显著的体现了我们今天在数据中心业界所看到的一些主要变化。

为什么数据如此重要?

如果说数据的使用已成为当前企业所采用的颠覆性的商业模式的一部分,那么考虑如何管理和部署数据密集型应用程序则已成为企业组织IT实践的核心。与DevOps方法所重点关注的轻量级应用程序不同,当企业组织开始讨论数据密集型应用程序时,会出现一系列新的考虑事项。

数据管理实践方案涉及到整个应用程序的生命周期。例如,数据科学和机器学习应用程序的发展需要使用大量的训练数据。而操作运营团队所部署的应用程序也有所不同;出于性能原因方面的考虑,数据密集型应用程序需要考虑数据的局部性,这意味着需要在持续产生数据的位置附近部署流程。此外,只要企业组织内部的各个不同的团队需要使用数据,那么对于数据的访问就必须受到严格的IT安全策略的控制和管理。

DataOps适用于数据驱动的应用程序

这些以数据为中心的新的理念激发了数据中心业界对于超越DevOps限制的实践方面的需求。简而言之,DataOps是开发和部署数据密集型应用程序的一种灵活敏捷的方法。这种做法很大程度上受到企业内机器学习和数据科学团队发展的鼓励,这需要涉及到企业内的软件开发人员和架构师、安全与管理专业人员、数据科学家、数据工程师和运营人员之间的密切合作。DataOps是一个人员加流程的模式,旨在提高可重复性、生产力、灵活敏捷性和自助服务,同时实现持续的数据科学模型部署。

在我们与一些大型企业组织的合作过程中,我们发现一些大型企业雇佣了数千名的数据科学家,我注意到:这些企业在用来支持DataOps的基础架构、平台和工具类型方面发生了相应的变化。尽管用于支持DevOps实践的一些工具(例如容器和虚拟化)仍然是DataOps的核心,但还有其他需要强制使用更新的技术,这可能暗示了未来十年的市场赢家。

首先,在工具层,DataOps实践方案需要一款能够支持相关语言和框架(如Python、R、data science notebooks和Github)的数据科学平台。此外,一种强有力的方案应该有助于在流程的各个阶段执行严格的数据访问和管理政策。数据即服务(Data-as-a-service)或自助服务数据市场工具是相当关键的。

在平台层,DataOps需要一款统一的数据架构,可以管理和提供大量数据的访问,包括传统的结构化数据以及更新的非结构化和流式数据集。借助一款全球数据架构,可以跨物理位置管理数据,并使用广泛的计算引擎(包括集装箱化流程)来处理数据。最后,选择支持数据密集型应用程序的平台必须针对数据局部性进行优化。

下一代的市场赢家

作为软件行业的资深人士兼学生,我知道该行业唯一不变的就是不断的变化。虽然没有人拥有能够预测未来的水晶球,但我认为可以肯定地说未来十年的数据中心将与过去十年的数据中心不同。 DataOps是一个值得关注的趋势。随着企业对于这些实践方案的采用变得越来越普遍,我预测我们将看到技术市场的相应转变。而市场的赢家将是那些能够提供相应工具和平台的公司,以便使得开发和部署数据密集型的应用程序变得更容易。

*声明:推送内容与图片均源自公开互联网,部分内容会有所改动,侵删。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180612A1EVN700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券