我遇到了airflow 1.10.1的问题。dag中的一些任务正在从helpers.py获取SIGTERM，据我所知，这是为工作进程执行关闭并终止所有子进程，但我在10个dag中只有2-3个任务中看到了这一点，并且在再次运行dag时收到信号的任务会发生变化是否有特定的标准来发送这些SIGTERM信号。收到SIGTERM的任务的日志： [2019-12-10 11:13:44,530] {base_task_runner.py:101}
浏览 54提问于2019-12-12得票数 13
我使用的是Airflow 2.1.4，问题是我的任务随机收到SIGTERM。但是当我检查第一个图像中的电子邮件警报日志时。 ? 日志仅显示类似于第二张图像中的内容，并且我的任务失败了，我确信我已经将重试次数设置为2(在DAG的默认参数中，每个任务的重试次数值为2)，但是为什么任务在第一次尝试时立即失败，以及为什么日志看起来是这样的这是随机发生的，有时工作得很好，有时不好。 环境: Airflow 2.1.4 (从2.1.2升级)，使
浏览 49提问于2021-10-02得票数 0
我正在使用PythonOperator调用一个函数，该函数将数据工程过程并行化为一个气流任务。这只需用Airflow调用的可调用包装器函数包装一个简单的函数即可。但是，当我使用Airflow运行它时，任务失败，任务的日志显示如下所示。("Task received SIGTERM signal")
[2019-01-22 17:16:46,973] {logging_mixin.py:95} WARNING - airflow.exceptions
浏览 175提问于2019-01-23得票数 22
回答已采纳
我正在使用SSH操作符运行气流任务。我非常确信python程序没有错误，并且在运行它时成功运行。但是，当在程序执行结束时从气流中运行时，我就会出现SIGTERM错误。我尝试将killed_task_cleanup_time = 1200从airflow.cfg文件中的60增加。还尝试将hostname_callable更改为socket:gethostname in airflow.cfg，因为我在此错误之前收到了以下警告Traceback (mo
浏览 21提问于2020-10-15得票数 0
如果任务持续时间超过了我在进程的每个任务中配置execution_timeout的特定时间，我希望失败。然而，任务失败了，但我没有收到电子邮件通知它。有人知道原因吗？任何帮助都将不胜感激。ERROR - Process timed out, PID: 15847 File "/home&
浏览 3提问于2022-10-27得票数 0
3回答
有时，向进程发送SIGTERM将导致它向其所有子进程发送SIGTERM。然而，有时这是行不通的。
是否有一个命令或实用程序允许我同时杀死一个进程及其所有子进程？这个问题询问如何使用perl完成这一任务，但是任何能够完成任务的内容都将是很棒的。
浏览 0提问于2009-07-14得票数 21
回答已采纳
1回答
Terminating subprocesses.将一些数据从Server (在Windows上)读取到熊猫的dataframe.df_query_results = pd.read_sql(sql_query, engine)2020-09-21 10:26:51,210 {{helpers.py:325} INFO -发送Signals.SIGTERM到GPID xxx 2020-09-21 10:26:51,210 {taskinstance.py:955}错误-接收SIGTERM
浏览 8提问于2020-09-21得票数 2
回答已采纳
我在我的电脑上运行airflow (Mac AirBook，1.6 GHz英特尔酷睿i5和8 GB 2133 MHz LPDDR3)。具有多个任务的DAG失败，并显示以下错误。任务本身没有任何问题(经过两次检查)。 任何帮助都是非常感谢的。Makefile_DAG.normalize_companies execution_date=2019-08-27 15:38:20.914820+00:00 exited with status failed for try_number 2 来自任务的日志to GPID 40649
浏览 57提问于2019-08-28得票数 5
3回答
我发现有东西在随机地发送这个Java进程SIGTERM。它可能是向自己发送信号的过程，也可能是其他的东西。我已经消除了大多数明显的原因(oom杀手，父母进程杀害孩子等)，但我真的想知道是谁发送这个进程SIGTERM。有任何方法在操作系统或进程级别跟踪此行为吗？
浏览 3提问于2012-07-04得票数 4
1回答
ps aux | grep airflow显示了两个气流and服务器运行，以及调度程序运行的所有dags。我试着运行kill $(ps aux | grep airflow | awk '{print $2}')，但是没有帮助。
浏览 4提问于2021-01-10得票数 5
回答已采纳
1回答
我将airflow standalone作为本地开发环境运行。我遵循气流提供的设置环境，但现在我想以最优雅的方式关闭它。
我在终端中运行了独立命令，所以我的第一次尝试就是简单地使用Ctrl+C。
浏览 9提问于2022-02-02得票数 3
回答已采纳
1回答
为什么killall (有时？)需要申请两次吗？下面是一个示例，其中需要一个“双”killall来结束这个过程。
什么时候和为什么一个过程需要“两次”被扼杀？帽子下面发生了什么？
浏览 0提问于2015-09-21得票数 2
我使用Apache气流，我希望它发送邮件通知sla错过。我将电子邮件嵌入存储为气流变量，我有一个进程，它的任务之一是使用EmailOperator发送电子邮件。现在出现了这个问题，因为无论如何，当我的发送邮件任务运行到所有收件人时，它都只向列表中的第一个入口发送sla错过通知，在我的示例中，这意味着test1@test.com。下面是我的dag和airlfow变量：
from airflow import DAG
from datetime im
浏览 2提问于2018-09-05得票数 1
回答已采纳
我运行的气流:2.1.4在KubernetesExecutor上与Kubernetes: 1.21.0堆栈跟踪：[2021-10-11 06:22:52,543] {taskinstance.py:1236} **ERROR - Received SIGTERM.signal")
airf
浏览 12提问于2021-10-11得票数 2
现在，假设我使用我的容器(使用任务定义)创建了1个服务，并将其添加到目标组中，然后用户开始使用websocket连接到我的AWS服务。我的问题是，如果我用新的任务定义更新我的服务，AWS ECS将等待旧的websocket连接优雅地断开，还是它将强制断开旧的websocket连接和旧的服务？
浏览 2提问于2018-07-23得票数 3
我使用的是Airflow 2.0.0，我的任务偶尔会在运行几秒钟或几分钟后被“外部”杀死。这些任务通常会成功运行(无论是通过airflow tasks test ...启动的手动任务还是计划的DAG运行)，所以我认为这与我的DAG代码无关。当任务失败时，这似乎是任务日志中的关键错误：
浏览 3提问于2020-12-20得票数 5
1回答
操作系统(Linux)可以向进程发送SIGTERM吗？若有，何时？在什么情况下？例如，当我的进程写入不正确的地址时，操作系统会向其发送SIGSEGV。提前感谢
浏览 5提问于2017-05-23得票数 0
1回答
[2022-02-21 08:40:23,027] {{process_utils.py:100}} INFO - Sending Signals.SIGTERM to GPID 4081
[2022-02-21 08:41:23,036] {{process_utils.py:113}} WARNING - process psutil.Process(pid=4081, name='airflowtask ru', status='sleeping', started='08:40:17') d
浏览 2提问于2022-02-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
