我可以创建一个“气流工作者”(用芹菜执行器)，但我不知道如何正确地杀死它。我的印象是创建了许多子流程，但我不知道如何优雅地关闭它们。
提前谢谢。
浏览 21提问于2018-02-26得票数 3
回答已采纳
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的设置应该可以访问DAG文件夹和环境，与气流服务器相同。我想知道如何在这些服务器中启动芹菜工人，这样气流<
浏览 5提问于2021-05-27得票数 1
回答已采纳
新的气流，所以道歉，如果这个问题没有真正的意义。在webserver中是否有一个命令或位置可以看到所有正在运行的工作人员的列表？另外，如果没有使用airflow worker显式启动芹菜工作节点，是否存在使用not服务器或调度程序初始化的“默认”工作人员？
浏览 1提问于2020-11-17得票数 2
回答已采纳
我们使用的气流2.0.1与以下设置：
芹菜执行器和4个节点上的4个工作人员。大多数任务运行一些通过启动的Hadoop应用程序，只是默认队列。首先，我们建立了自己的作业，更新了run_as_user用户的Kerberos票证。在大约一周的时间里，它运行良好，然后一个工人开始失败，因为失去了Kerberos的票。我们找不到上次成功运行和失败作业之间的任何更改；节点上有一个有效的票证；因此我们停止了工作。第二天，我们完全重新启动了气流，所有工人都报告说没有K
浏览 0提问于2021-05-26得票数 3
目前，我正在使用气流与芹菜执行器+redis一起运行dags，并且我已经将execution_timeout设置为在S3密钥传感器中工作12小时，但每次重试都会在一小时内失败。2019-08-06 13:00:08,597 {{base_task_runner.py:101} INFO -作业9:子任务listen_for_file_drop 2019-08-06 13:00
浏览 2提问于2019-08-07得票数 1
回答已采纳
1回答
我目前还未认识的MWAA当触发时，DAG被执行器拆分为任务，每个任务被添加到队列中，由Worker从队列中提取。对于bash操作符，任务被提交给Fargate工人并在那里执行。工作人员缩放是由Fargate管理的，您只能指定min/max计数。在同时提交任务的情况下，会触发员工分解
浏览 4提问于2021-11-29得票数 1
回答已采纳
2回答
Apache气流分布式处理
、、、、
我对Apache气流的架构感到困惑。我想在阿帕奇气流中实现同样的目标。气流有不同的执行器类型。为了在不同的数据节点中同时运行命令，我应该做些什么？
浏览 6提问于2017-09-09得票数 0
回答已采纳
我试图在本地主机上执行一些气流DAG，但不起作用。什么是重要的‘气流任务测试’工作。请给点建议..。
浏览 3提问于2022-11-15得票数 0
我们有芹菜执行者的气流部署。
XCom 使用--这有大小限制吗？使用芹菜队列将DAG路由到同一个工作线程( worker，)--这个选项一开始似乎很有吸引力，但是为了避免将所有东西路由到一个执行者或创建一个百万队列，如何
浏览 0提问于2018-02-12得票数 15
我安装了最新的apache-气流(1.9.0)与芹菜(4.1.0)执行器。试着运行气流工作人员
TypeError:使用配置MySQLDialect_mysqldb/QueuePool/Engine发送的用于创建engine()的无效参数'visibility_timeout
浏览 2提问于2018-04-12得票数 0
1回答
我在试着理解库伯内特斯的气流拱。我想了解豆荚之间的交流..。到目前为止，我知道图像中唯一表达的：注意:我使用的是git同步选项
提前感谢你能给我的帮助！！
浏览 2提问于2022-05-14得票数 1
我们使用的是气流版本2，当我们将DAG文件放置在DAG文件夹中时，需要20到30秒才能在气流数据列表中反映这个dag。谢谢你，哈利
浏览 3提问于2021-09-19得票数 1
回答已采纳
1回答
我正在评估我目前从芹菜执行器到Kubernetes (K8s)执行器的气流部署，以利用资源的动态分配和由荚提供的任务的隔离。显然，我们可以使用本机KubernetesPodOperator通过K8s执行程序在K8s集群上运行任务。但是，我无法找到有关K8s执行器与其他操作符(例如bash和雅典娜)之间的兼容性的信息。，这是一个问题，是否可以在K8s驱动的气流上运行bash (或任何其他)操作员，或者我应该将我的所有任务迁移到KubernetesPodOperator？
浏览 1提问于2020-11-18得票数 2
回答已采纳
我已经配置了气流与芹菜工人和芹菜经纪人是redis。所有的服务都在运行，我正在通过for为芹菜工人和任务进行监控。我已经按照1.10.6文档中的要求配置了气流。但从2020-01-17 05:38开始，CeleryExecutor上的所有作业都停止运行。此外，花中的监视显示，所有芹菜工作人员都处于活动状态，但他们没有通过代理发送任何消息。气流配置 celery_app_name = airflow.executors.celery_e
浏览 16提问于2020-01-26得票数 0
在Flower中，broker选项卡与气流2.3.4、RabbitMQ over和芹菜执行器一起使用时没有显示队列。ssl=truehttp_api，(例如 )，broker_url
我不明白如何配置气流，以便将这些信息正确地传递给Flower，而Flower使用的是带有RabbitMQ的ssl并连接到端口15672
浏览 3提问于2022-09-14得票数 0
1回答
我使用气流与芹菜执行器。举个例子，我有一个有3个任务的dag。task1 >> task2 >> task3 当我的worker节点= 1时，我看到任务可以很好地按正确的顺序执行 但是，当我将工作节点增加到2时，我看到工作节点1选择了task1，工作节点2选择了task2我相信芹菜执行者会理解这一点。我的dag因此而失败 你能告诉我哪里出了问题吗?我该如何解决这个问题？
浏览 19提问于2021-02-11得票数 1
1回答
有什么“干净”的方法来杀死工作进程，一旦他们一直在监听的队列变为空？
我的想法是，如果工人们没有任何工作要做，我就不需要让他们不断地收听队列。在我的例子中，我需要从某个地方下载1000个文件，使用芹菜。所以我把1000个任务放在队列中，但这就是我想让这批工人做的全部工作。我在芹菜里找不到任何关于如何做到这一点的建议。有什么想法吗？谢谢!
浏览 2提问于2014-07-31得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
