data_obj_list_n:
dummy_step_n >> generate_tasks(obj) >> dummy_step_(n+1) 基本上，这个想法是在前两个步骤上有一个显式的依赖关系，然后动态生成任务，每个数组中的所有任务都在一起，并由虚拟操作符任务链接。所以我有了一个聪明的想法，使用一个列表，动态地将它分解成多个3的列表(所以即使我们以后添加更多的对象，它也会被自动处理)，然后使用这些子列表来动态</em
浏览 21提问于2021-09-09得票数 0
在我们的大数据项目中，有3000个表需要加载，所有这些表都应该由气流中的一个单独的DAG来处理。因此，我们使用以下方法生成我们的DAG：表加载器DAG的特定运算符使用的RawToRawRC_TableN代码”，因为它们将在DAG生成过程中执行，而用户定义的宏仅在DAG执行time中进行计算。是我们正在实现的
浏览 3提问于2021-11-06得票数 1
回答已采纳
我在虚拟环境中使用ubuntu 16.04和virtualenvwrapper。对于生产环境，我希望使用Systemd自动运行气流调度器。
如何在虚拟环境和Systemd中配置气流计划程序？
浏览 1提问于2018-01-31得票数 0
1回答
我们希望使用Apache气流来调度Scrapy Python蜘蛛和一些其他脚本。我们会有成千上万的蜘蛛，它们的日程安排会随着时间的变化而变化，所以我们希望能够每天创建一个气流达格，并且每天都安排它们一次，从一个数据库中自动安排它们。我看到的关于气流的唯一例子是使用python脚本来编写DAG文件。编辑:我设法找到了一个应该可以工作的解决方案，使用YAML文件
浏览 0提问于2019-04-13得票数 2
回答已采纳
1回答
我有一个ETL管道，它由以下任务组成：
我把整个剧本转换成气流数据集。我的问题是假设，一个百万文件的规模，我想特别是在步骤-3使用我的整个集群芹菜工人处理文件并行。
浏览 2提问于2019-04-24得票数 4
回答已采纳
我试图在基于用户输入的气流中生成动态工作流。我知道可以选择基于文件和数据库的数据，但在所有这些情况下，工作流将不直接依赖用户输入，如果多个用户正在使用相同的数据，那么在这种情况下也可能会出现问题。为了避免所有这些，我正在考虑将用户输入传递给sub并生成工作流。但是subdag没有从ui传递用户输入的选项。
浏览 3提问于2020-11-30得票数 3
回答已采纳
1回答
我正在编写气流代码，其中我运行一个python操作符来读取来自cli的用户输入，并希望在顶层python代码中使用该操作符返回的结果来生成动态任务。使用Xcom，我们可以执行任务间的通信，但是如何在任务和主代码之间进行通信。
浏览 10提问于2021-12-30得票数 0
1回答
我想在MWAA气流环境中使用DBT。为此，我需要在托管环境中安装DBT，然后通过气流运算符或CLI (BashOperator)运行dbt命令。解决方案的问题是，我需要在-which中存储dbt文件，其中包含目标/源数据库凭据-在S3中。否则，该文件将不会被部署到气流工作节点，因此dbt无法使用。
还有别的选择吗？我觉得这是一个很大的安全风险，也破坏了气流的使用(因为我想使用</e
浏览 2提问于2022-02-04得票数 2
我正在使用Composer来调度多个DAG。这些DAG是使用动态构建的，它们使用自定义插件。
在气流配置->中执行虚拟更新，向airflow.cfg添加一个<e
浏览 3提问于2020-08-24得票数 0
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的设置应该可以访问DAG文件夹和环境，与气流服务
浏览 5提问于2021-05-27得票数 1
回答已采纳
我试图在气流中创建一个动态生成的DAG。但是，如果我要将其作为常规Python函数来执行，那么将这么多常规Python混合到我的气流DAG中似
浏览 5提问于2021-05-04得票数 1
1回答
现在，我希望每天使用气流重新训练和部署整个管道，但我已经看到了重新培训和部署单个起重器模型的可能性。
有没有办法重新训练和部署整个管道？谢谢
浏览 1提问于2019-05-23得票数 0
回答已采纳
1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。当一个SFTP站点使用密码身份验证时，我连接的次数#实际上并不是一个问题。一个站点需要密钥身份验证
浏览 0提问于2018-08-03得票数 2
回答已采纳
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
是否可以读取外部文件并使用它在Composer中动态创建任务？当我只从一个气流变量读取数据时，我可以这样做，但是当我读取一个外部文件时，守护进程会陷入isn't available in the web server's DagBag object状态。我需要从外部文件中读取，因为JSON的内容在
浏览 1提问于2020-01-10得票数 1
我创建了一个python脚本来读取那些JSON文件，以便为Composer气流动态生成DAG。现在，我面临的挑战是如何在python脚本中获得运行DAG的列表，并从本地系统触发单个DAG。在我的本地，我设置了私有SSH键，所以我可以使用下面的命令获得在composer气流中运行的DAG列表。gcloud -q composer environments run "$ENVIRONMENT" --location "$REG
浏览 2提问于2019-12-18得票数 0
回答已采纳
然后使用这些配置生成Dagster中的作业列表。我有三个租户：Department2: Configuration2这些信息存储在我的数据库中。如何加载这些信息并动态创建3个作业(管道)：Pipeline2 for Department2和Configuration2Pip
浏览 9提问于2022-03-25得票数 2
回答已采纳
在Vue的类绑定三元运算符中编写动态生成的变量名时，我遇到了一些问题。这是我的代码： <div v-bind:class="[VARIABLE HERE?partition-active': '', 'partition']" v-for="(item,index) in partitionContent" v-bind:key="index"></div> 所以在三元运算
浏览 18提问于2019-06-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
