有没有人在用pipenv安装apache气流1.10.10时遇到麻烦?当我试图使用pipenv安装它时,出现了以下错误:
There are incompatible versions in the resolved dependencies:
marshmallow<3.0.0,>=2.18.0 (from flask-appbuilder==2.3.4->apache-airflow==1.10.10->-r /var/folders/rl/p0x650cn1lx6f7syttzvh2hh0000gn/T/pipenvykrgd_0krequirements/p
我正在将airflow从1.10.5更新到1.10.10。在使用google OAuth时,我在webserver中遇到以下错误 Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 37, in <module>
args.func(args)
File "/home/airflow/.local/lib/python3.7/site-packages/airflow/utils/cli.py", line 75, in w
我知道以前有人问过这个问题,但我想把它说得很简单。我正在使用Astronomer运行Airflow v1.10.10。每个dag运行(每天)可以有不同数量的任务。此任务数将由给定dag运行(即当天)的数据库表中的行数定义。
我将在dag文件中运行一个查询,并创建一个如下列表:
list = client.query(SELECT * FROM TABLE WHERE DATE = {{ds}})
然后,我将根据列表的大小创建任务:
for i in range(1, len(list)):
sample_airflow_operator(name=i + '_operator&
概述
我将Apache气流从1.9.0更新到1.10.10。我正在通过主管管理气流过程/部件。我有一个,每当我将更改部署到服务器上时,就会重新启动这些进程。
问题所在
这个脚本在1.9.5中运行良好,但是每次升级气流过程之后,似乎都失去了任务和DAG的状态。这些都是我在重启后会收到的失败邮件
Exception:
Executor reports task instance finished (failed) although the task says its queued. Was the task killed externally?
配置
主管会议
[program:airflow-w
当我尝试从版本composer-1.7.2-airflow-1.10.2到Composer -1.12.0-气流-1.10.10(或任何其他可用的)更新我的composer环境(在GCP上)时,我总是会得到以下错误:
UPDATE operation on this environment failed Just now with the following error message:
Failed to update image version.
The Cloud Build image build failed: Build failed; check build logs for d
我正在使用最新的舵图来安装k8s上的气流2.1.1。我在s3日志记录方面有问题--我一直收到错误消息:
*** Falling back to local log
*** Log file does not exist: /opt/airflow/logs/test_connection/send_slack_message/2021-07-16T08:48:27.337421+00:00/2.log
*** Fetching from: http://airflow2-worker-1.airflow2-worker.airflow2.svc.cluster.local:8793/log/t
在气流1.10.10DAG中,我们有一个ShortCircuitOperator,它使用python函数check_remote_server()来决定分支。
在check_remote_server_data()函数中,我们如何启动到远程服务器的SSH连接,在其上运行bash命令并获得结果?
是否可以使用我以前使用Web定义的气流SSH连接?
def check_remote_server_data():
pass # how can we use a predefined Airflow SSH connection, named `remote`?
with dag: