Kubeflow管道无法创建容器

文章/答案/技术大牛

发布

2回答

kubernetes、kubeflow

我在一台本地机器上运行Kubeflow，这台机器是我使用these steps部署的multipass，但当我尝试运行我的管道时，它被消息ContainerCreating卡住了。当我运行kubectl describe pod train-pipeline-msmwc-1648946763 -n kubeflow时，我在describe的Events部分找到了这个： EventsUnable to mount volumes for pod "train-pipeline-msmwc-1648946763_kubeflo

浏览 81提问于2021-04-07得票数 1

回答已采纳

1回答

从私有google容器注册中心提取图片，并在小型库上使用kubeflow

kubernetes、minikube、kubeflow、google-cloud-repository、kubeflow-pipelines

我们很难将管道中的容器上传到Kubeflow，以访问存储在google容器注册表中的私有自定义码头映像。我们在运行在minikube上的kubernetes集群之上运行kubeflow。有人能帮助我们理解如何将访问令牌/服务帐户添加到Kubeflow部署中吗？我们已经阅读了几个在自定义Kubernetes部署上实现此功能的文档，但没有在Kubeflow部署中实现。我们在Kubeflow上运行管道时遇到的错误是：，这一步处于挂

浏览 5提问于2019-12-17得票数 0

回答已采纳

3回答

如何在python中的Kubeflow容器组件之间传递数据或文件

kubeflow、kubeflow-pipelines

我正在探索Kubeflow作为部署和连接典型ML管道的各种组件的一种选择。我使用坞容器作为Kubeflow组件，到目前为止，我还无法成功地使用ContainerOp.file_outputs对象在组件之间传递结果。这就是我试图在管道python代码中声明这一点的方式：import kfp.gcp as gcp @dsl.pipeline(name='kubeflow对于基于容器的Kub

浏览 1提问于2019-09-28得票数 7

回答已采纳

1回答

为kubeflow设置容器注册表

docker、kubeflow

，您需要存储称为容器注册表的容器映像。您的Kubeflow集群将访问容器注册表。我将使用码头枢纽作为集装箱注册中心。来配置Kubeflow管道容器生成器以访问您的注册表。其次，我学习了Kaniko配置指南，并按照告诉->用"auth":"mypassword for dockerhub"创建config.json的方法做了所有事情。FROM gcr.io/kubeflow-i

浏览 6提问于2021-02-24得票数 0

2回答

服务模型中的Kubeflow流水线

kubernetes、google-kubernetes-engine、kubeflow、kubeflow-pipelines、seldon

我开始为一个项目挖掘kubeflow管道，并有一个初学者的问题。似乎kubeflow管道可以很好地用于培训，但是在生产中服务如何呢？我可以使用像Seldon这样的东西来创建端点来启动预处理管道，应用模型，然后返回预测吗？或者更好的方法是将所有东西都放在一个docker容器中？

浏览 4提问于2019-04-25得票数 1

1回答

Kubeflow管道中的Python OOP

python、kubeflow、kubeflow-pipelines

我有一个完整的预处理、培训、评估Python 3.8中的ML管道，我想在Kubeflow管道中进行转换。它主要用于分割任务(即RGB图像) 如果有可能，如果您有任何代码示例作为示例，这将是有帮助的。

浏览 3提问于2022-04-22得票数 2

2回答

如何升级现有的kubeflow管道？

python、kubeflow、kubeflow-pipelines

在管道UI中，我使用upload pipeline按钮来上传新的管道。由于管道名称是唯一的，因此更新的唯一方法是删除旧管道，然后上载新管道。有没有更好的方法，也许是管理单个管道名称的版本？

浏览 38提问于2020-01-21得票数 0

1回答

Kubeflow-kale :-如何将kubeflow-kale扩展集成到一个独立的Kubeflow管道集群上运行管道

kubernetes、google-cloud-platform、jupyter-lab、kubeflow-pipelines、mlops

目前，我试图在本地jupyterlab服务器上使用kubeflow kale jupyter扩展，而没有安装Kubernetes和kubeflow，并试图在GCP AI管道服务器或任何其他Cloud管道服务器上运行我的代码管道我可以通过kubeflow管线SDK(因为它有添加主机名详细信息的功能)来完成这个任务。但是，当试图通过库贝弗-卡莱扩展来实现时，它不起作用。如我所知，我们需要提供Kubeflow管道服务器的主机名，这是我无法在

浏览 0提问于2020-09-07得票数 2

回答已采纳

2回答

Kubeflow对顶点AI管道

google-cloud-platform、google-ai-platform、kubeflow-pipelines、google-cloud-vertex-ai、google-cloud-ai-platform-pipelines

我在探索kubeflow管道和顶点AI管道。据我所知，顶点AI管道是kubeflow管道的托管版本，因此不需要部署成熟的kubeflow实例。在这方面，抛开定价不谈，顶点AI管道是一个更好的选择。但是，在kubeflow中，我们可以创建，这是我在顶点AI管道中没有找到的。中唯一不支持顶点AI的功能是“缓存过期”和“递归”，但它们没有提到任何关于实验的内容。

浏览 10提问于2021-12-15得票数 10

1回答

有没有办法访问kubeflow从cloud shell部署的相同的minio UI？

google-kubernetes-engine、minio、kubeflow

简而言之，我们已经在GKE上部署了kubeflow &因为我们知道minio预装了kubeflow。在kubeflow UI上，可以看到几个管道工件正在引用storage.In的minio，为了访问这个minio UI，我继续使用云外壳中的端口转发在指定的端口上公开minio服务。我使用cloud shell中的web预览选项访问了minio UI，但在Minio UI上找不到Kubeflow UI上的任何bucket&也无法在minio UI上创建bu

浏览 54提问于2021-09-08得票数 0

1回答

如何利用顶点AI在GCP中建立自定义管道

machine-learning、google-cloud-platform、google-cloud-automl、google-cloud-vertex-ai、gcp-ai-platform-training

我的用例是自己进行数据预处理(我对AutoML数据预处理不满意)，并希望直接将这些数据输入到管道中，在管道中对模型进行训练和部署。另外，我希望将新数据提供给dataset。它应该负责整个管道(从数据预处理到部署最新模型)。我想知道如何处理这个问题？

浏览 6提问于2022-04-20得票数 2

1回答

利用管道params为Kubeflow管道分配资源

kubeflow、kubeflow-pipelines

我希望能够创建一个Kubeflow管道，该管道允许用户为运行设置分配的资源。最终的结果会是这样的：。定义管道参数是可能的；但是，管道参数的语法不匹配Kubeflow用于预处理其YAML定义的验证正则表达式。，创建管道失败了，因为Kubeflow不能解析这些资源参数，因为输入参数语法'{{input.parameters.parameter}}'与正则表达式^([+-]?[0-9]*)$'

浏览 0提问于2020-10-19得票数 2

回答已采纳

1回答

在单入侵控制器上并行运行多个应用程序(例如，木星实验室/Elyra+ Kubeflow管道用户界面)

jupyter-lab、nginx-ingress、kubeflow、kubeflow-pipelines、elyra

我已经安装了Elyra (这是JupyerLab +一些以AI为中心的扩展，包括用于创建Kubeflow管道的可视化编辑器)和KubeFlow管道并行地安装在一种集群(Docker中的Kubernetes首先，我已经将Kubeflow管道安装为文档化的 kubectl应用"github.com/kubeflow/pipelines/manifests/

浏览 6提问于2021-04-13得票数 1

1回答

如何在创建kubeflow管道yaml文件时传递参数？

google-kubernetes-engine、minikube、kubeflow

minikube最新(kubernet 1.21.14) kfp.compiler.Compiler().compile( pipeline_func=my_

浏览 6提问于2022-08-21得票数 0

回答已采纳

1回答

TFX赋值器不能在数据流中运行，因此由于pod内存不足而失败

google-cloud-dataflow、tfx、kubeflow-pipelines、google-cloud-ai-platform-pipelines

我正在基于TFX的AI平台管道中运行管道。在计算器出现之前，所有组件都运行良好。它只是不想在数据流上运行，它在Kubeflow pod中运行，所以它失败了，因为那里没有足够的内存。抱怨错误(在Kubeflow UI中)：此步骤处于失败状态，并显示以下消息:节点资源:内存不足。容器main使用的是2093880Ki，这超过了它的请求0。容器等待使用的是13492Ki，这超过了它的请求0。

浏览 17提问于2021-05-21得票数 0

1回答

是否有可能将kubeflow组件与tensorflow扩展组件混合？

kubeflow、tfx、kubeflow-pipelines

看来Kubeflow已经放弃了他们所有的TFX组件。目前，我有一些定制的Kubeflow组件，它们帮助启动了我的一些数据管道，我希望我可以在相同的kubeflow管道中使用一些TFX组件。是否有一种将Kubeflow和Tfx组件混合在一起的推荐方法？我看到一位来自Kubeflow的较老的公关人员不推荐他们的TFX组件：创建这些组件是为了允许用户在其KFP管道中使用TFX组件，以便能够混合KFP和TFX组件。如果您的<em

浏览 0提问于2021-04-23得票数 5

2回答

Kubeflow在GCP上的部署

google-cloud-platform、kubeflow、kubeflow-pipelines

我决定测试Kubeflow，并决定在GCP上测试它。我开始使用Kubeflow官方网站(这里是https://www.kubeflow.org/docs/gke/)上的guiidline在GCP上部署kubeflow。我遇到了很多问题，很难解决。我开始寻找一种更好的方法，我注意到GCP AI platform现在只需几个简单的步骤就可以部署Kubeflow管道。如果设置和部署Kubeflow如此容易，为什么我们必须通过<

浏览 51提问于2021-01-09得票数 1

2回答

使用cli或API部署Kubeflow管道，而不是在UI上部署

pipeline、kubeflow

可以通过上传管道UI来创建Kubeflow管道。似乎没有相关的文件。是否可以使用cli或API，而不是在UI上部署Kubeflow管道？

浏览 1提问于2019-02-06得票数 0

回答已采纳

2回答

气流和库贝流管道有什么区别？

machine-learning、workflow、airflow、kubeflow-pipelines

我的问题是，气流和Kubeflow管道或其他ML平台工作流调度器的主要区别是什么？而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？

浏览 2提问于2019-11-26得票数 12

回答已采纳

3回答

GCP Kubeflow和GCP云编写器有什么区别？

google-cloud-platform、google-cloud-composer、kubeflow

据我所理解，两者似乎都用于编排工作流，授权用户调度和监视GCP中的管道。谢谢

浏览 9提问于2020-03-17得票数 5

回答已采纳

点击加载更多