我是tensorflow的初学者,现在在一个项目中,我需要为tensorflow部署分布式生产平台。如果我能得到一些帮助来澄清我的想法,我很感激。
阅读在线加成和YouTube,我了解到分布式生产的主要组件如下所示。
用python3.x管道构建的TFX (Tensorflow extended):Apache Beam Orchestrator:Apache Airflow或Kubeflow
然而,对于编排器,我假设这两个组件都有优缺点,但是TFX的实际标准是哪一个呢?
指南主要集中在Airflow,所以我认为这可能是一个,但kubeflow似乎是新的,所以它可能是新的挑战者。
Note: The current revision of this user guide primarily discusses deployment on a bare-metal system using Apache Airflow for orchestration.谢谢你,余
发布于 2021-10-08 15:59:31
我认为Kubernetes/Kubeflow是最好的协调者,然而,在建立和管理您自己的集群时,它会带来大量的前期成本。
谷歌刚刚发布了VertexAI管道,这是一种托管(无服务器)服务,GCP为您在封面下管理Kubernetes,您可以专注于编写管道代码。
我强烈建议使用它,似乎非常负担得起,并直接建立。https://cloud.google.com/vertex-ai/docs/pipelines/introduction
在我的公司,我们通过使用VertexAI管道节省了数百万美元的运营和维护费用。
为了完成这个答案,有一些与VertexAI相关的缺点。这是一个预GA产品,所以我在这里和那里仍然遇到一些小问题,但我想说它90%的功能,我们正在使用它来编排我们的端到端机器学习工作流,以及自动化我们的一些分析和数据验证工作负载。
https://stackoverflow.com/questions/58680765
复制相似问题