腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
Airflow
-
错误
的
最后
一次
运行
、
当我看到
airflow
最后
一次
运行
日期时,它会显示
最后
一次
运行
日期。当我将鼠标悬停在"i“图标上时,它会引起我
的
注意,因为它显示了正确
的
日期。有什么办法可以解决这个问题吗?听起来像是胡说八道,但我最终还是用它来对我
的
数据进行QA。
浏览 29
提问于2019-07-25
得票数 2
回答已采纳
1
回答
Airflow
“日程安排程序似乎没有
运行
..”在带有Linux环境Window docker中
、
、
、
我在OS window server 2019上
运行
docker desktop 3.3.1和Linux容器。
Airflow
在docker桌面上使用docker-compose文件启动,就像提到
的
here一样,它正在成功
运行
。但是,在一段时间后在此
airflow
上启动dag时,我在
airflow
the服务器上收到以下消息: “排定程序似乎没有
运行
。
最后
一次
心跳是在X分钟前收到
的
。“ 有时
airflow</e
浏览 49
提问于2021-04-22
得票数 0
2
回答
AIRFLOW
_SCHEDULER_RUN_DURATION设置和调度程序在关闭时不会重新启动
、
、
、
我使用‘`docker’在AWS ECS中
运行
AWS ECS。我知道这是可以避免气流调度程序重新启动吗?我们应该使用
airflow
.cfg而不是env variable吗
浏览 2
提问于2021-09-12
得票数 0
回答已采纳
1
回答
如何安排DAG并行
运行
一些任务,然后在它们完成后执行一个任务?
、
我有几个任务可以同时
运行
。当他们完成后,我需要
运行
一个
最后
的
任务。我尝试使用这样
的
任务分组来完成这个任务:from
airflow
.utils.task_group import TaskGroup task1 -> final_task task2 -> final_task 我想要
的
是任务组并行
运行
,当它
浏览 6
提问于2022-05-30
得票数 1
回答已采纳
1
回答
清除并回填每小时
运行
的
DAG
的
特定实例?
我们有一个按小时
运行
的
气流数据集,任务更新和覆盖BigQuery中
的
日期分区表。在对这些表
的
查询和/或模式进行调整之后,我们想要回填几天
的
现有分区,但是回填所有
运行
都是巨大
的
浪费,因为每小时
运行
一次
只会覆盖相同
的
分区24次,然后再转到第二天。我们可以使用
airflow
list_dag_runs列出所有
运行
并筛选出每天
的
最后
一个
浏览 3
提问于2020-06-10
得票数 0
回答已采纳
1
回答
Spring Cloud DataFlow -任务
运行
后获取执行ID
、
、
、
、
目前,我正在从Spring XD作为我
的
工作流和
运行
时环境迁移到Spring Cloud DataFlow和Apache
Airflow
。我想在
Airflow
中创建工作流,并使用自定义
Airflow
operator通过REST-API在Spring Cloud DataFlow服务器上
运行
Spring Cloud任务。不幸
的
是,DataFlow没有在此请求中返回作业执行ID,以创建监视应用程序
的
简单方法。有没有办法以同步
的
方式获取这
浏览 8
提问于2017-01-27
得票数 1
2
回答
airflow
.exceptions.AirflowConfigException:
错误
:不能使用sqlite < 3.15.0
、
、
、
、
我根据设置了我
的
气流(2.0.1)
错误
: Traceback (most recent
浏览 7
提问于2021-05-03
得票数 1
回答已采纳
12
回答
DAG在Web中不可见
、
、
、
我是
Airflow
的
新手。我遵循一个教程,并编写了下面的代码。from
airflow
import DAGfrom datetime importprint_the_context', python_callable=correctness_prediction,在
运行
脚本时,它不会显
浏览 14
提问于2016-08-17
得票数 34
回答已采纳
12
回答
执行任务后,
Airflow
scheduler似乎未
运行
当有任务
运行
时,
Airflow
将弹出一个通知,说明调度程序似乎没有
运行
,并一直显示到任务完成:我
的
任务有点重,可能要
运行
几个小时。
浏览 87
提问于2019-08-27
得票数 39
2
回答
气流调度器周期性地抱怨没有心跳。
、
有问题
的
气流(v1.10.5)网络服务器会抱怨.一旦弹出,我就可以在web中看到调度程序心跳
错误</em
浏览 6
提问于2019-11-28
得票数 4
回答已采纳
2
回答
如何
运行
一个简单
的
气流DAG
、
我想在指定
的
日期
运行
一个简单
的
DAG。我正在努力改变开始日期、执行日期和回填之间
的
差异。
运行
DAG
的
命令是什么?以下是我尝试过
的
:当我第
一次
运行
该命令时,任务正确地执行,但是当我再次尝试时,它没有工作。下面是我
运行
的
另一个命令:
airflow
backfill dag_1 -s 2017-1
浏览 7
提问于2017-01-23
得票数 20
回答已采纳
1
回答
airflow
schedule_interval不工作
我
的
DAG是这样
的
, t1 = BashOperator(task_id = 'testing_task',bash_command = 'python /home/ubuntu/
airflow
/dags/scripts/test.p
浏览 30
提问于2018-02-08
得票数 1
回答已采纳
1
回答
无法使用
Airflow
创建我
的
pyspark脚本
的
cron作业
、
、
我有一个pyspark脚本,它现在工作得很好,我想做
的
是,我想为每一分钟安排该作业,为此,我使用了Apache
Airflow
,我为
airflow
创建了一个.py文件,如下所示: from
airflow
import osimport
airflow
from
airflow
.operators.dummy_operatorspark-2.4.0-bin
浏览 24
提问于2019-04-08
得票数 0
1
回答
Airflow
-D不工作,不在后台
运行
我可以使用
airflow
webserver命令正常启动webserver。但是当我使用
airflow
webserver -D时,它显示: /data/software/miniconda3/lib/python3.7/site-packages/
airflow
/config_templates/
airflow
_local_settings.py:65: DeprecationWarning: The elasticsearch_h
浏览 199
提问于2019-12-25
得票数 0
5
回答
从不工作
的
终端触发气流DAG
、
我正在尝试使用
airflow
来定义我想要从命令行手动触发
的
特定工作流。 "DAG_NAME", schedule_interval=None,default_args=args)
airflow
trigger_dag DAG_NAME 什么都不会发生。调度程序正在另一个线程中
运行
。任何方
浏览 2
提问于2016-05-05
得票数 24
1
回答
气流未按预定时间间隔
运行
我
的
Airflow
per服务器已启动并
运行
,因为其他作业正在按计划
运行
。我添加了一个新
的
DAG,每5分钟执行
一次
。添加后,我第
一次
手动
运行
它,它完成了。然而,在那之后,它不会每隔5分钟再次
运行
一次
。Dag代码如下 from
airflow
import DAGfro
浏览 12
提问于2019-06-11
得票数 0
2
回答
Airflow
:
airflow
initdb命令是否具有破坏性
我有一个正在
运行
的
Airflow
服务器,并且我正在
airflow
.cfg中进行配置更改,这需要
运行
airflow
initdb。第二次
运行
airflow
initdb命令是否会破坏现有的表,或者它只会根据新
的
配置执行更改?
浏览 12
提问于2019-07-08
得票数 1
1
回答
sqlalchemy.exc.OperationalError:(Kercopg2.OperationalError)致命:用户“气流”身份验证失败
、
、
、
我有一个CentOS 7实例,我在上面安装了
airflow
和postgresql。通过以下步骤,最初通过yum安装postgres-server和cont肋骨: sql_alchemy_conn = postgresql+psycopg2://
airflow
:
airflow
@localhost/
a
浏览 4
提问于2022-06-01
得票数 1
2
回答
在WSL上安装和
运行
气流
、
、
、
我按照中
的
流程在WSL (Windows 10)下在Ubuntu中安装了气流。但是,在
运行
airflow
db init时,我会得到以下
错误
:(
airflow
_env) sultani@Khalid:~/c/users/administrator/airflo
浏览 6
提问于2022-06-08
得票数 1
回答已采纳
2
回答
如何访问
Airflow
Web界面?
嗨,我正在上一个关于如何使用
Airflow
的
datacamp课程,它展示了如何在访问
Airflow
Web界面后创建dags。 是否有在
Airflow
Web界面中创建帐户
的
简单方法?我对如何做到这一点非常迷茫,或者这只是一个企业工具,一旦你付费,他们就会为你提供访问它
的
权限?
浏览 99
提问于2021-05-08
得票数 0
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
活动推荐
运营活动
广告
关闭
领券