问成本更低的工作流编排替代方案

EN

目前，我正在生产中放置一个ML模型，并在研究我应该依赖哪个工具来编排整个过程：

pre-processing

• Create

• 进行一些特征工程和通用数据的训练/测试分割。

• 转储数据格式为.csv格式(在gs桶中)

• 开始培训工作并保存模型伪影

G 211

在一个单独的阶段，将采用以下模式：

table.

• Insert

• 从来自之上计算在另一个BQ表中的BQ

• 预测的输入中检索批预测.

现在，我完全理解，编排这样的工作流程将是云作曲家的甜蜜点，但该项目是为一个非营利组织和欧元381/月定价将不会是微不足道的。

因此，我不得不考虑以下几种选择：

把所有的东西打包到训练任务中。

一种选择可以是而不是，通过打包AI平台培训任务中的所有内容来分解培训工作流。

使用云函数启动/停止编写器

我在想：

使用云Function

• Find启动

1. Composer实例--一种从另一个云Function
2. Send启动气流工作流的方法--一旦工作流结束，
3. 就会使用
4. /sub消息来触发另一个停止Composer实例的云函数。

小型VM中的自主机气流

这显然需要更多的研究才能让它发挥作用。特别是因为我不知道如何在Nginx中实现oauth。

将所有东西文档化并使用CloudRun进行培训

这可能看起来是：

1. 包在码头容器中的培训工作(有不同的进站点用于培训/服务任务)使用云调度器(或云函数)的
2. Fire Cloudrun (或云函数)并执行所有所需的任务。

AFAIK Cloudrun在运行时仍然有一个15分钟的硬上限，所以这个选项可能是不可行的。

我该怎么处理呢？我不确定我是否忽略了比上面列出的选项更简单的东西。