Google宣布用户可在Kubernetes上执行Cloud Dataproc,也就是说,现在使用者可以利用GKE集群执行Apache Spark工作负载,而这项更新将为企业简化管理基础设施的复杂性。
Cloud Dataproc是Google云端上全托管的Apache Hadoop与Spark服务,Google提到,资料科学家可以使用Cloud Dataproc大规模地分析资料或是训练模型,不过随着企业基础架构变得复杂,许多问题慢慢产生,像是部分机器可能处于閒置,但是某个工作负载集群可能持续扩大,而开源软件与函式库也随着时间过时且与堆叠不相容。
为了解决这些问题,Google现在让Cloud Dataproc得以在K8s上运作,并为其提供了一个控制平台,让企业可以同时在公有云和企业内环境,部署与管理在GKE上的Apache Spark工作负载。使用Cloud Dataproc的新功能,用户就能以统一的集中检视工具,跨K8s和YARN两个集群管理系统,操作混合工作负载。
而且新功能还隔离了开源软件,消除传统大资料技术对版本以及函式库的相依性,让使用者可以将模型和新的ETL工作管线,从开发阶段直接转移到生产阶段,而不需要考量相容性,Google提到,使用K8s这样的敏捷基础架构,让开源软件升级更简单。
Apache Spark是第一个放到K8s上Cloud Dataproc的开源资料处理引擎,而这项工作还会继续扩及更多的开源项目,Google提到,Cloud Dataproc搬迁到K8s上,改变了他们将Cloud Dataproc和开源软件作为托管服务的方式,他们会持续与其他开源社区合作,并为更多的开源项目启用K8s上执行Cloud Dataproc功能。
—完—
领取专属 10元无门槛券
私享最新 技术干货