腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为什么使用
Airflow
插件
python
、
airflow-scheduler
、
airflow
我正在使用
airflow
来协调我的ETL。对于来自特定来源的摄取,例如API,我使用自定义
Airflow
插件(带有挂钩和
操作符
) 我的问题是,为什么要使用
Airflow
Plugins,我们可以
通过
使用
Bash
操作符
来触发简单的
python
脚本
来实现相同的结果与使用外部
python
脚本
相比,使用
Airflow
插件有明显的优势吗
浏览 15
提问于2020-04-24
得票数 2
1
回答
Apache气流-
Python
能力问题
python
、
bash
、
airflow
根据
Airflow
、气流2.0+及其升级文档的最新版本,
Python
3.9不受支持。但是,我的理解是,运行
Airflow
不支持
Python
3.9,但是用
Python
3.9编写的.py文件、
脚本
等以及库、模块等呢?我可以下载
Python
3.8来运行Apache气流,并
通过
Bash
操作符
运行在
Python
3.9上运行的
Python
文件吗?
浏览 0
提问于2021-02-20
得票数 1
回答已采纳
1
回答
Airflow
通过
bash
操作符
执行
python
脚本
python
、
python-3.x
、
airflow
我有一个
python
脚本
test2.py来连接到远程服务器并
执行
该命令。如下所示。这在命令行上有效。 将参数作为JSON传递并以JSON格式获取响应,这在命令行中
执行
时会起作用,如下所示。hostname"}' 我正试着
通过
气流来
执行
同样的操作 from __future__ import print_function from
airflow
.operators import BashOperatorfrom
airflow
.mo
浏览 21
提问于2020-07-17
得票数 0
回答已采纳
1
回答
DAG从web界面
执行
正常,但在
通过
命令行运行时“失败”
exception
、
render
、
airflow
、
directed-acyclic-graphs
我的DAGs,DAG_ID=sample_dag,文件: sample_dag.py驻留在~/
airflow
/dags文件夹(Ubuntu)中,可以
通过
网页界面(点击播放图标)
执行
。在DAG中有一些
BASH
操作符
调用,并且每个
脚本
都被正确
执行
,并产生记录的输出。但是,我无法
通过
命令行访问从相同文件夹运行的相同DAG的功能,例如:
airflow
render sample_dag all 2019-01-14T06
浏览 18
提问于2019-01-15
得票数 0
7
回答
使用Apache
airflow
存储和访问密码
python
、
airflow
我们使用
Airflow
作为调度器。我想在DAG中调用一个简单的
bash
操作符
。
bash
脚本
需要一个密码作为参数才能进行进一步的处理。如何在
Airflow
(config/variables/connection)中安全地存储密码并在dag定义文件中访问它? 我是
Airflow
和
Python
的新手,所以一个代码片段将不胜感激。
浏览 5
提问于2017-07-24
得票数 33
1
回答
气流:如何从
python
脚本
中取消DAG
python-2.7
、
airflow
我正在创建一个
python
脚本
来从模板生成DAG (生成一个带有DAG规范的新
python
文件)。除了我需要以不可暂停的方式生成DAG之外,这一切都很好。我搜索并尝试在
脚本
中运行shell命令,如下所示:
bash
_c
浏览 1
提问于2018-11-16
得票数 2
回答已采纳
1
回答
Apache气流卡在
执行
最后一个任务的循环中(
bash
操作符
执行
python
脚本
)
python
、
bash
、
docker-compose
、
airflow
我正在运行一个测试DAG,
执行
3项任务。然而,这三个任务运行良好,但
bash
操作符
的最后一个任务被卡在循环中,如下面的图片所示。在日志文件中,只为
bash
脚本
的第一次
执行
生成一个条目,然后什么也不生成,但是
python
文件一直被
执行
。对于这个问题有什么建议吗?
bash
_command=r"echo '
python
/opt/scripts/test.py'&
浏览 4
提问于2022-02-18
得票数 3
回答已采纳
2
回答
如何在
Airflow
中创建DAG,显示Docker容器的使用情况?
docker
、
containers
、
airflow
我目前使用的是
Airflow
(版本: 1.10.10), 我对创建DAG很感兴趣,它将每小时运行一次, 这将带来Docker容器的使用信息(磁盘使用), (可
通过
docker CLI命令( df -我在下面添加了我的示例DAG
脚本
, ? datetime,timedeltafrom
airflow
.contrib.sensors.file_sensori
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
1
回答
从composer在dataproc集群上
执行
bash
脚本
google-cloud-dataproc
、
google-cloud-composer
我想在使用一个简单的shell
脚本
创建一个dataproc集群后,将jars添加到该集群的特定位置。一旦创建了dataproc集群,下一步就是
执行
bash
脚本
,该
脚本
将把jar添加到data proc集群中。 您能建议使用哪个
airflow
操作符
在dataproc集群上
执行
bash
脚本
吗?
浏览 21
提问于2019-05-08
得票数 2
1
回答
如何获得气流达格运行的JobID?
python
、
pyspark
、
airflow
、
apache-airflow
当我们在气流UI上做dagrun时,在“图形视图”中,我们会得到每个作业运行的详细信息。我需要这个JobID来跟踪和日志创建,在其中我维护每个任务/dagrun所占用的时间。谢谢你,切坦
浏览 2
提问于2017-04-11
得票数 17
回答已采纳
1
回答
如何在
Airflow
Dag
脚本
中捕获
Python
类的返回值?
python
、
python-3.x
、
airflow
我有一个
python
类,它实际上返回一组值(两个字符串和一个列表)。我需要在
Airflow
Dag
脚本
中捕获这些值,并在稍后将这些值填充到字典中。我很高兴知道是否有人找到了在
Airflow
中存储从
Python
类返回的值的方法 例如,我有一个类X(),它有一个方法Y(),它返回这3个值。那么,我是否可以像下面这样在
Airflow
中捕获这些值呢 x = X() val1, val2, val3 = x.Y() # to capture the values 另外,为了实现这一点,我应该使用
浏览 45
提问于2021-09-01
得票数 0
2
回答
如何
通过
Airflow
自动运行整个
Python
脚本
?
python
、
airflow
我有一个
Python
脚本
,它指向elasticsearch集群,对数据
执行
聚合和计算,然后将洞察存储在本地PostgreSQL中。该
脚本
可以每天或每周运行,具体取决于用户首选项,如下所示:
python
script.py --approach weekly 我想让这个数据流工作流程
通过
作为DAG1
执行
,后者
执行
bash
命令
python</
浏览 1
提问于2021-02-25
得票数 2
1
回答
如何阻止
Airflow
触发我的
python
脚本
?
python
、
airflow
我目前正在使用
Airflow
来运行一个有几个任务的DAG (比如dag.py),然后,它有一个要
执行
的
python
脚本
(
通过
bash
_operator完成)。
python
脚本
(比如report.py)基本上是从云(s3)位置获取数据作为数据帧,
执行
一些转换,然后
通过
电子邮件将它们作为报告发送出去。但我遇到的问题是,每当
airflow
扫描存储库的更改时(即每隔2分钟),
Airflow
浏览 19
提问于2021-01-06
得票数 0
2
回答
如何在虚拟环境中使用apache
airflow
?
python
、
airflow
、
virtualenv
、
directed-acyclic-graphs
我对使用apache
airflow
非常陌生。我使用pycharm作为我的IDE。我创建了一个项目(anaconda环境),创建了一个包含DAG定义和
Bash
操作符
的
python
脚本
。当我打开
airflow
When服务器时,我的DAGS不显示。仅显示默认示例DAG。我的
AIRFLOW
_HOME变量包含~/
airflow
。所以我在那里存储了我的
python
脚本
,现在它显示出来了。有没有办法为每个项目添加特定
浏览 2
提问于2019-07-04
得票数 7
回答已采纳
1
回答
向
bash
运算符传递参数-发生了什么变化?
airflow
、
google-cloud-composer
我有从
bash
操作符
调用
python
笔记本
执行
的代码。该代码过去在旧的composer和
airflow
版本中运行时没有任何问题。我已经将环境更新为包括
python
到3以及最新的composer和
airflow
版本。notebook的环境变量中的参数不再像以前那样可用。#executing ipynb in the DAGVariable.set("BUCKET_URL&
浏览 6
提问于2020-05-21
得票数 0
1
回答
如何在BashOperator
执行
的
python
脚本
文件中使用Xcom
python
、
airflow
我正在使用
Bash
操作符
执行
python
脚本
文件,如下所示:
bash
_command='
python
3py_script.py')for i in range(10): if i == 2:我
浏览 3
提问于2021-02-19
得票数 0
回答已采纳
3
回答
如何使用
AirFlow
来运行
python
文件的文件夹?
python
、
airflow
我在
Python
文件的文件夹中有一系列
python
任务: file1.py,file2.py,...Task2:
执行
file2.py (使
浏览 19
提问于2016-09-21
得票数 29
回答已采纳
1
回答
气流Oracle算子
oracle
、
airflow
、
operator-keyword
我对
Airflow
非常陌生,我正在尝试使用Oracle
操作符
执行
我的第一个DAG。我把我的dag放在了example_dags所在的位置-- (/usr/lib/
python
2.7/site-packages/
airflow
/example_dags/my_dag.py),但是它在UIimport datetime,timedelta from
airflow
impo
浏览 2
提问于2020-01-17
得票数 4
1
回答
在气流UI (bashcommand)中没有名为“pymysql”的模块
docker
、
airflow
、
pymysql
、
directed-acyclic-graphs
我试图
通过
一个
python
脚本
在mysql中自动创建一个临时表,这个
脚本
集成在我的气流DAG (docker)上。我使用的
脚本
是
通过
一个外部
python
文件使用的,该文件将
通过
bashcommand运行。达格:from
airflow
.ope
浏览 4
提问于2022-01-18
得票数 0
1
回答
Ubuntu20.04重新启动时的cronjob不工作
command-line
、
bash
、
scripts
、
cron
我有一个
bash
文件,它只停止现有的docker容器。当我手动运行它时,这个
脚本
工作得很好,但是它没有在我的crontab上工作。启动pc时,我需要
执行
bash
脚本
。Crontab:(不工作开始)
Bash
内容(stop_
airflow
.sh)cd &
浏览 0
提问于2021-12-05
得票数 -1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
使用Shell调用Python实现循环并获取多次返回值
调度工具Airflow
Bash和Python是自动化工程师最喜欢的编程语言两者有什么优缺点
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券