当文件到达云存储时触发云ml上的培训任务
当文件到达云存储时触发云ml上的培训任务
提问于 2020-06-15 16:45:11
我正在尝试建立一个应用程序，用户可以上传一个文件到云存储。然后，这将触发一个模型训练过程(以及稍后的预测)。起初，我想我可以使用云函数/pubsub和cloudml来实现这一点，但是云函数似乎无法触发cloudml所需的gsutil命令。
我唯一的选择是启用composer并将GPU附加到kubernetes节点，并创建一个云函数来触发一个dag来用GPU启动节点上的结束符并用数据挂载存储桶？似乎有点过分，但我现在想不出另一种方法了。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-06-16 12:44:52
你说得对。就目前而言，不可能从gsutil执行Google云功能命令
云函数可以用Node.js、Python、Go和Java编写，并且可以在特定于语言的运行时执行。
我非常喜欢您使用触发DAG的第二种方法。我想到的另一个想法是通过Python操作符使用Compute与Composer中的GCP虚拟机进行交互。您可以在自动化基础设施和深入研究Composer 这里的核心特性方面找到更多信息。
您可以想到的另一个解决方案是Kubeflow，它的目标是在Kubernetes上运行ML工作负载。Kubeflow为您的集群添加了一些资源，以帮助完成各种任务，包括培训和服务模型以及运行木星笔记本。请看一下Codelabs教程。
我希望你能找到这些有用的信息。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62392971
复制相关文章
相似问题
腾讯云开发者
