我构建了一个Jupyter notebook，它将Jupyter notebook作为管道的一个组件部署到Kubeflow管道服务中。我想知道是否有一种方法可以为部署笔记本的ContainerOp指定CPU和内存的数量。 目标:当我打开并读取tar.gz文件的内容时，让cpu和mem作为参数显示在yaml文件中。os.makedirs(tmp_d
浏览 25提问于2019-08-28得票数 0
我正在探索Kubeflow作为部署和连接典型ML管道的各种组件的一种选择。根据我对这个特性的理解，创建并保存到一个声明为组件的file_outputs之一的文件，应该会导致它持久化，并且可以被下面的组件读取。这就是我试图在管道python代码中声明这一点的方式：import kfp.gcp as g
浏览 1提问于2019-09-28得票数 7
回答已采纳
2回答
当我使用轻量级python函数作为kubeflow管道中的一个组件时，最近我切换到使用docker容器作为kubeflow管道中的一个组件。produce: str = 'hello' return dsl.ContainerOp( image = '
浏览 5提问于2020-06-11得票数 0
我们使用@dsl.containerop在kubeflow管道中定义多个组件。
def download(url: str, output_file: OutputPath
浏览 4提问于2021-04-24得票数 1
回答已采纳
我想用Kubeflow管道编写一个由两个组件组成的管道:A和B。据我所见，B的dsl.ContainerOp可以等待A的输出，但我不知道如何创建B的多个实例
浏览 1提问于2019-05-05得票数 2
回答已采纳
我一直在使用Kubeflow dsl容器op命令在Kubeflow管道的自定义上运行python脚本。我的配置如下所示： def test_container_op(): return dsl.ContainerOp(file_outputs={
'modeule-logs&#x
浏览 62提问于2021-10-08得票数 0
回答已采纳
我有一个由3个集装箱化组件组成的管道。在最后一个组件中，我将我想要的指标写到一个名为/mlpipeline-metrics.json的文件中，就像它解释here一样。这是我使用的Python代码。def metric_op(accuracy, f1_scores): name='visualize_metri
浏览 12提问于2020-03-18得票数 1
回答已采纳
以前，使用Kubeflow管道SDK v1，可以通过将Argo占位符{{workflow.status}}传递给组件来推断管道的状态，如下所示： name='An example component',
image='eu.gcr.io/...这方面的一个
浏览 9提问于2022-05-03得票数 0
回答已采纳
是否可以为使用Kale创建的kubeflow管道中的任务指定pod资源(内存和CPU请求和限制)？为了提供更多细节，在使用DSL用python编写kubflow管道时，我可以指定任务pod资源，如下所示： task1 = ( .set_memory_request('600M')
.set_memory_limit
浏览 55提问于2021-04-13得票数 0
回答已采纳
我想收集循环的所有输出，并将它们传递给另一个ContainerOp。 op2 = dsl.ContainerOp( ...file_outputs={
'outputs': '/outputs.j
浏览 0提问于2019-12-22得票数 6
这个问题是作为一个一般的Python问题提出的，但将使用Kubeflow，kfp==1.8.12举例说明。在这个模块中，我希望在类dsl.ContainerOp周围创建一个帮助类，以简化我的大量工作。作为一个最小的例子，下面我使用这个类来创建这样一个组件：
name = 'My name
浏览 4提问于2022-07-10得票数 1
回答已采纳
我正在尝试将我所有的Kubeflow管道从使用之前的SDK v1 (kfp)移到更新的 (kfp.v2)。下面，我将详细介绍管道SDK v1中的工作原理以及我如何尝试在v2中实现它。 s
浏览 11提问于2022-04-23得票数 1
我使用KUBEFLOW管道来训练TF的KERAS模型，我从一个非常简单的项目开始。
模型训练良好，管道工作正常，但我无法正确地使用TENSORBOARD的输出查看器。从中读取，似乎只要在训练容器(/mlpipeline-ui-metadata.json)的根路径中添加一个适当的json文件就足够了，但是即使我这样做了，实验运行的工件部分也不会出现任何东西(虽然可以正确地看
浏览 1提问于2019-05-16得票数 1
我目前正在使用库贝流作为我的策划人。规划器实际上是托管在GCP上的AI平台管道的一个实例。如何使用Tensorflow扩展SDK创建运行时参数？我怀疑这是我应该使用的类，但是这些文档不是很有意义，也没有提供任何示例。
浏览 3提问于2020-09-26得票数 2
回答已采纳
我希望能够创建一个Kubeflow管道，该管道允许用户为运行设置分配的资源。最终的结果会是这样的：
。定义管道参数是可能的；但是，管道参数的语法不匹配Kubeflow用于预处理其YAML定义的验证正则表达式。例如，使用屏幕快照中的值参数，我可以通过将其添加到管道的YAML定义
浏览 0提问于2020-10-19得票数 2
回答已采纳
我正在使用顶点ai的python，它是建立在Kubeflow管道之上的。在里面，你应该可以做到这一点： train_data = data_op.outputs['train_outset_cpu_limit(training_cpu_limit).
set_memory_limit(training_memory_limit).set
浏览 7提问于2021-12-23得票数 0
1回答
我正在探索VertexAI管道，并理解它是人工智能平台管道的一个管理替代方案(在这里，您必须部署一个GKE集群才能运行Kubeflow管道)。我不清楚的是，VertexAI是否会根据负载自动调整集群。在对的回答中，提到对于使用GCP资源的管道步骤，如Dataflow等，自动标度将被自动完成。在google文档中提到，对于组件，可以使用，如CPU_LIMIT GPU
浏览 5提问于2021-08-06得票数 3
回答已采纳
2回答
我希望gcr.io/******/serve_model:lat5图像能够访问变量，这是gcr.io/******/deployservice:lat2的一个参数
最初，我尝试将变量作为参数传递，但它没有起作用我的环境变量将是GCP存储桶的一个url，serve_model将在其中访问.sav模型文件。
浏览 5提问于2019-12-03得票数 3
回答已采纳
3回答
我想通过传递任何类型的数据来建立组件之间的管道连接，仅仅是为了让它看起来像用箭头组织起来的流程图。现在它就像下面这样
无论对接容器是否生成输出，我都希望在组件之间传递一些示例数据。kfp.components.load_component_from_file('component4.yaml')
@kfp.dsl.pipeline我对python和kubeflow</
浏览 5提问于2020-07-07得票数 3
我听说在调用使用多进程的Python脚本之前使用OMP_NUM_THREADS=1可以使脚本更快。
是真的还是假的？若有，原因为何？
浏览 4提问于2017-05-10得票数 12
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
