腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Apache
Airflow
中
的
DAG
运行
中
指定
运行
id
、
从When服务器触发
DAG
并转到图形视图时,
运行
id
如下所示: ? 我可以在命令行中使用'
airflow
trigger_
dag
‘并
指定
'run_
id
’来
指定
此名称,但我不知道如
何在
通过when服务器触发
DAG
时
指定
此
ID
? 有没有人找到了这样做
的
方法?
浏览 84
提问于2021-04-26
得票数 2
2
回答
Airflow
DAG
每秒
运行
,而不是每分钟
运行
、
我试图安排我
的
DAG
每分钟
运行
一次,但它似乎是每秒钟
运行
一次。根据我所读到
的
所有内容,我应该只需要在我
的
DAG
中
包含schedule_interval='*/1 * * * *', #..every 1 minute,就是这样,但它不起作用。下面是我设置
的
一个简单示例来测试它:from
airflow
.
浏览 96
提问于2018-06-05
得票数 7
回答已采纳
1
回答
Apache
气流维护表为
dag
_ids上一次
运行
日期?
、
Apache
Airflow
有MYSQL表,
如
dag
、
dag
_run、作业 维护
dag
元数据字段,包括
dag
运行
时。但是,如果这些表
的
频率和报告查询负载增加,则让外部查询作业查询这些生产气流表以检查上次
运行
完成可能不是一个好
的
设计实践。另一个可能
的
选择是在
airflow
dags
中
添加python代码来维护另一个单独
的
数据库表,
浏览 0
提问于2018-12-10
得票数 0
回答已采纳
1
回答
如何导出持久环境变量
、
我想从自定义钩子中导出一个环境变量,并能够在下次钩子初始化时检索该环境变量
的
值。具体地说,它是一个自定义
的
SnowflakeHook,我想在其中检查一个预设(在docker-compose文件
中
)环境变量是否有一个特定值,如果有,在做一些事情后导出另一个环境变量。我为此创建了一个额外
的
方法,代码如下: env = os.environ['ENV'] user = os.environ['USER'].replace('.这里
的
问题是导出<e
浏览 7
提问于2021-10-04
得票数 1
回答已采纳
2
回答
在Google Cloud Composer
中
运行
实例
中
的
代码
、
、
、
我是google cloud composer
的
新手。我在谷歌云计算引擎中有一些代码,例如: test.py 目前,我使用Jenkins作为我
的
调度器--我
运行
的
代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.test" | ssh user@insta
浏览 29
提问于2019-06-19
得票数 0
3
回答
在Docker
的
Apache
气流
中
设置剧作家
的
最佳方法是什么?
、
、
、
、
我被要求学习Docker,以便我们最终能够在
Apache
Airflow
Docker + Kubernetes集群
中
设置我们
的
web抓取脚本。如果我用错了这些术语,那是因为我是码头
的
初学者。到目前为止,
Apache
Airflow
确实有自己
的
映像,但是他们
的
表明,安装python包
的
唯一方法是通过pip install --user -r requirements.txt安装,我已经将pipinstall --us
浏览 23
提问于2022-05-30
得票数 6
1
回答
无法调度具有执行单元查询
的
shell脚本
的
气流作业
、
、
、
我正在尝试安排一个包含一些单元查询
的
shell脚本。以下是各自
的
档案:from random import randintfrom
airflow
.operators.python importFalse) as
dag
: create_ddl_hive=BashOperator( #
浏览 3
提问于2022-01-19
得票数 0
1
回答
如何计算
apache
气流传感器
的
总执行时间
、
、
sensor_job = PythonSensor( python_callable=call_jobsensor) # start timer # stop timer 用例-在本例
中
,我试图捕获完成传感器工作所需
的
总时间。如果采用传统方法,它将以小块
的
形式返回时间信息(每次传感
浏览 6
提问于2022-06-10
得票数 0
1
回答
气流发现
DAG
与特定
的
conf一起
运行
。
我使用
的
是
apache
-气流1.10.10。
airflow
trigger_
dag
-c
浏览 3
提问于2020-06-18
得票数 0
回答已采纳
5
回答
从不工作
的
终端触发气流
DAG
、
我正在尝试使用
airflow
来定义我想要从命令行手动触发
的
特定工作流。 "
DAG
_NAME", schedule_interval=None,default_args=args)
airflow
trigger_<em
浏览 2
提问于2016-05-05
得票数 24
12
回答
Airflow
未在/usr/local/
airflow
/dags中加载dags
Airflow
似乎跳过了我添加到/usr/local/
airflow
/dags
中
的
dags。当我跑
的
时候输出如下所示example_xcomlatest_only_with_
浏览 0
提问于2017-08-07
得票数 29
1
回答
如果另一个
DAG
上
的
所有任务都成功,则只
运行
DAG
。
我对DAGs、气流和Python语法有点陌生(我从Java中学到编码),但我有一个
DAG
,它有大约10个相互独立
的
任务,而另一个
DAG
只有在所有10个任务都成功
的
情况下才能
运行
。因为按照我
的
方式,如果一个任务失败,
DAG
仍然
运行
其他任务,
DAG
被标记为成功。(这就是我想要
的
) task_
i
浏览 0
提问于2020-08-20
得票数 2
1
回答
是否有人设法使用Docker
apache
/
airflow
访问SQL Server :2.0.1
、
、
、
我正在尝试使用docker-compose
的
apache
airflow
,使用基本
的
容器容器
apache
/
airflow
:2.0.1。我正在学习本教程https://
airflow
.
apache
.org/docs/
apache
-
airflow
/stable/start/docker.html# 如何
运行
简单
的</
浏览 13
提问于2021-04-12
得票数 0
回答已采纳
1
回答
Apache
气流:没有这样
的
文件或目录:当试图使用HiveOperator执行数据采集时,“直线”
、
、
在
运行
DAG
时,在任务日志
中
接收以下错误:import
airflow
from
airflow
.providers.
apache
.hive.operators.hive import HiveOperator from
airf
浏览 3
提问于2021-10-28
得票数 3
回答已采纳
13
回答
Airflow
:如何删除
DAG
?
我已经启动了
Airflow
网络服务器并安排了一些dags。我可以在web GUI上看到dags。 如何删除正在
运行
并在web GUI
中
显示
的
特定
DAG
?是否有
Airflow
CLI命令来执行此操作?我环顾四周,但找不到一个简单
的
方法来删除一个
DAG
,一旦它已经加载和调度。
浏览 360
提问于2016-11-17
得票数 83
回答已采纳
1
回答
Airflow
CLI:如
何在
Airflow
1.10.12
中
获取
dag
任务
的
状态?
、
、
在
AirFlow
2.0
中
,您可以通过
运行
CLI命令
airflow
tasks states-for-
dag
-run来获取
dag
中
任务
的
状态。(请参阅此处
的
文档:https://
airflow
.
apache
.org/docs/
apache
-
airflow
/stable/cli-and-env-variabl
浏览 66
提问于2021-06-17
得票数 1
回答已采纳
3
回答
Airflow
动态
dag
创建
请告诉我,
airflow
中
的
DAG
是没有任何实际数据(
如
参数)
的
图形(
如
占位符),还是类似于实例(用于固定参数)
的
DAG
? 我想要一个系统,其中要执行
的
操作集(给定一组参数)是固定
的
。但每次
运行
这组操作时,此输入都会不同。简单地说,管道是相同
的
,但管道
的
参数在每次
运行
时都是不同
的
。 我想知道如
何在</e
浏览 81
提问于2019-10-08
得票数 1
1
回答
如何使用
DAG
群集策略为所有
DAG
设置默认值?
我正在尝试为我
的
所有dags设置两个默认值。为此,我使用以下代码在
Airflow
的
主目录
中
创建了文件
airflow
_local_settings.py (尝试遵循https://
airflow
.
apache
.org/docs/
apache
-
airflow
/stable/concepts.html#
dag
-level-cluster-policy
中</
浏览 7
提问于2021-04-20
得票数 1
回答已采纳
1
回答
气流用户界面没有显示全部
DAG
我正在尝试使用
apache
airflow
。我成功地安装了所有东西。我在
dag
文件夹
中
添加了一个新
的
DAG
,当我
运行
airflow
list_dags时,它向我展示了与我
的
新
dag
一起
的
dag
示例。fyi,我使用centos7在VM上<em
浏览 0
提问于2019-04-18
得票数 4
回答已采纳
1
回答
将nodejs作业迁移到
Airflow
、
、
我正在考虑将几个nodejs作业迁移到
apache
airflow
。 这些作业记录到标准输出
中
。我刚开始接触气流,并且已经设置好在码头上
运行
。理想情况下,我们应该更新这些作业以使用
airflow
提供
的
连接,但我不确定这是否可能。通过将nodejs安装到bash操作符
中
,我们已经成功地
运行
了作业: t1 = BashOperator( bash_command=
浏览 20
提问于2019-09-01
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大规模运行Apache Airflow的经验和教训
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
AWS推出Apache Airflow全托管工作流MWAA
没看过这篇文章,别说你会用Airflow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券