腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
修复
似乎
缺少
的
DAG
?
我想运行一个简单
的
Dag
"test_update_bq",但是当我转到localhost时,我看到了这个:
DAG
"test_update_bq" seems to be missing。
Dag
: from airflow import
DAG
'retry_delay
浏览 55
提问于2019-10-10
得票数 0
回答已采纳
2
回答
在GCP Composer中调试中断
的
dags
、
、
如何
在中有效地调试破掉
的
DAG
?现在,我只能在气流UI主页上看到一行跟踪。答案
似乎
是不理解我
的
问题。我正在寻找
修复
中断
的
,即
DAG
甚至没有出现在
DAG
列表中,当然也没有任务正在运行,也没有任务日志可查看。
浏览 1
提问于2019-08-24
得票数 2
回答已采纳
2
回答
Airflow:
如何
重新运行相关
DAG
、
、
假设我有以下
DAG
依赖项: /
DAG
A --->
DAG
C -->...\ \>
DAG
D -->... 这些
DAG
每天运行,
DAG
A
的
输出分别由
DAG
B、C、D消耗。如果
DAG
A失败(例如,Spark作业有错误,我们希望在<
浏览 1
提问于2020-02-22
得票数 0
2
回答
ro
如何
清除气流中不需要
的
破碎
DAG
我在我
的
sql_test.py中写了一些错误,并运行了python sql_test.py,错误是‘没有模块名为xxx',而在web中,它显示了一个红色错误
的
DAG
。然后我运行airflow list_dags,同样
的
错误再次发生,.This很奇怪,我不知道发生了什么。我试图运行airflow delete_dags sql_test,但是没有这样
的
id。我
如何
才能: 把sql_test从list_dags中解救出来
浏览 1
提问于2019-07-26
得票数 1
回答已采纳
1
回答
用于使用REST API调用删除Airflow UI中
的
airflow
Dag
的
CSRF令牌
、
、
、
其目的是通过rest api调用从UI中删除airflow
dag
。我尝试了调用.../delete?
dag
_id=<
dag
_id>,这个rest调用失败了,报告
缺少
CSRF令牌。
如何
从airflow服务器获取CSRF令牌?或者有没有更好
的
方法从airflow UI中自动删除
dag
?(不是从airflow UI手动按下删除按钮)
浏览 3
提问于2020-06-11
得票数 0
1
回答
Google气流OperationalError导致
DAG
永远挂起
、
、
、
这个任务
似乎
永远停留在scheduled状态,因此
DAG
连续运行15个小时而不完成(通常需要一个小时)。我必须手动标记它失败了才能结束。下一次按计划触发
DAG
时,它可以正常工作,无需进行任何
修复
。这个问题时断时续地发生,我们一直无法复制它。 有人知道这个错误
的
原因以及
如何
修复
吗?
浏览 5
提问于2022-05-31
得票数 0
1
回答
为什么气流不运行最近
的
任务?
、
、
我已经用以下参数设置了一个
dag
'retries': 3,'retry_delay': timedelta(minutes=5)
dag
_id='some_
dag
',
浏览 2
提问于2021-05-26
得票数 1
回答已采纳
1
回答
中
的
气流
DAG
“
似乎
失踪了”,
似乎
是因为调用了
、
、
、
以前
的
问题前提/问题 下面的代码放在实例
的
DAG
文件夹中。下面的代码块“动态”根据字符串列表生成
DAG
,将成功地使用,生成两个名称为"new_dummy_ohhel“和"new_dummy_hello”
的
DAG
。这些
DAG
是可访问
的
,并将工作。这表明对存储
的
调用是成功
的
,但是
DAG
仍然“
浏览 4
提问于2021-03-19
得票数 2
回答已采纳
1
回答
通过HTTP
的
Apache Airflow
、
、
我遇到了一个问题,我可以从airflow
的
rest api命令(https://airflow.apache.org/api.html)成功触发
dag
;但是,
dag
实例不能运行。我正在调用-> POST /api/experimental/dags/
dag
_id/
dag
_runs,其中
dag
_id是我正在运行
的
dag
。唯一发生
的
事情是
dag<
浏览 17
提问于2019-10-03
得票数 0
回答已采纳
1
回答
气流:破碎
的
达格<
dag
_path>项目错误
、
我用Airflow
DAG
编写了Python,从语法上讲,它是正确
的
。python
dag
_file_name.py成功运行 什么是气流
的
浏览 3
提问于2018-02-06
得票数 1
1
回答
气流-
DAG
级存取控制
、
我正在努力在气流2.1.0中设置
DAG
级访问控制。其目的是让用户看到和控制单个
DAG
及其运行,而不是其他任何东西。为了遵循,而且几乎没有文档化
的
,我正在设置一个最小
的
场景:
DAG
my_
dag
与
DAG
我可以以my_user
的
身份登录,并且只能在
DAG
列表中看到my_
dag
。但是,我不
浏览 2
提问于2021-07-06
得票数 4
回答已采纳
1
回答
气流-当尝试运行TaskInstance时,从sqlalchemy引发
的
错误
、
我在测试气流结构内爬行器
的
执行情况。如果我运行以下脚本,一切正常工作,并打印有效载荷。from airflow import
DAG
from hooks.crawler_hook中运行一个TaskInstance时,我得到了一个错误,并且无法理解为什么: with
DAG
(
dag
_id="
DAG
1"
浏览 17
提问于2022-03-28
得票数 0
回答已采纳
1
回答
如何
处理气流中
的
配置文件
、
其中一些共享公共属性,例如要从其中读取文件
的
目录。目前,这些属性在每个单独
的
DAG
中都被列为属性,这在将来显然会成为问题。如果目录名要更改,我们必须进入每个
DAG
并更新这段代码(甚至可能
缺少
一段代码)。我正在考虑创建某种配置文件,该配置文件可以解析为气流,并在需要某个属性时由各种DAGS使用,但我
似乎
找不到关于
如何
这样做
的
任何文档或指南。我能找到
的
大多数文档都是关于设置连接ID
的
文档,但这不符合我
的
浏览 0
提问于2018-08-24
得票数 5
回答已采纳
1
回答
如何
修复
此TypeError
、
、
、
TypeError:无法读取未定义
的
属性(读取“0”)。
如何
修复
dagID = result.
dag
_id行中出现
的
类型错误async function accessData(){ const access = await main();const result = access.
dag
_runs.map(file => ({start_date: file.start_date, end_date: file.end_date, state: file.state,
浏览 3
提问于2022-07-07
得票数 -1
1
回答
Snakemake:导出d3
dag
- MissingInputException
、
我想以与D3.js兼容
的
JSON格式导出我
的
工作流
的
DAG
: dryrun=True,forceall=True, printd3
dag
cluster_config,
浏览 5
提问于2018-08-22
得票数 0
1
回答
在Airflow
的
EmailOperator中访问Xcom
、
、
、
我对Airflow非常陌生,我正面临着Xcom和Jinja
的
一些问题。 我必须做一些Python详细说明,然后将结果传递给EmailOperator,以便将其作为电子邮件正文发送。
似乎
没有关于它
的
文档,我找到
的
唯一提示是这个,它
的
格式很糟糕,不能工作,它
的
注释也很糟糕。我认为这必须通过金佳来完成,但我不明白
如何
...这是我正在做
的
试探性代码,有人能帮我解释一下为什么这个代码是错误
的
,以及
如何
修复
它吗
浏览 10
提问于2019-11-13
得票数 3
回答已采纳
2
回答
apache-airflow 1.9默认时区设置为非utc
、
、
、
我最近将airflow版本从airflow 1.8升级到apache-airflow 1.9,升级成功,我使用Celery Executor扩展了环境,一切
似乎
运行正常,但
dag
和任务开始日期、执行日期等都显示在UTC时区,计划
的
dag
在UTC运行,在升级之前他们使用
的
是本地时区,即pdt。关于
如何
将pdt设置为airflow中
的
默认时区,有什么建议吗?期待您
的
帮助,将默认时区
修复
为pdt。
浏览 2
提问于2018-01-11
得票数 11
回答已采纳
2
回答
可以从
dag
_run.conf访问SubDag吗?
看起来,您可以使用PythonOperator和设置provide_context=true或使用jinja模板+ BashOperator访问
dag
_run
的
conf参数。是否有内置
的
方式为SubDagOperator提供对这些值
的
访问
浏览 0
提问于2018-05-01
得票数 2
回答已采纳
1
回答
从Airflow
的
数据库中删除SubDag
我在主
Dag
中创建了4个SubDags,它们将在不同
的
schedule_interval上运行。我删除了一个SubDag
的
操作,但它仍然出现在Airflow
的
数据库中。数据库中
的
条目会被执行吗?有没有办法把它从Airflow
的
数据库中删除?
浏览 0
提问于2018-06-13
得票数 0
1
回答
使用HttpSensor触发气流数据采集
、
、
我正在尝试实现中提到
的
用例,但是我遇到了一些问题。我
似乎
不能为了执行任务t1而触发触发器,即使我正在更改引用
的
谷歌工作表。我已经确保所有的路径引用都是正确
的
,并且我可以访问必要
的
API (google drive)。我对Airflow非常陌生,所以我怀疑我
的
dag
中
缺少
基础知识:from airflow.sensors.http_sensor import HttpSensor= <e
浏览 2
提问于2020-11-24
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何修复损坏的硬盘?
如何修复损坏的硬盘
修复模糊照片的软件有哪些?如何修复模糊照片
如何修复Mac的系统错误?
如何修复 WordPress 中的 HTTP 错误
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券