腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
EcsOperator
Airflow
在
不同
的
文件夹
中
运行
命令
airflow
、
amazon-ecs
我想在容器
中
运行
的
命令
如下: /bin/bash -c "cd /opt/project/A && ls" 基本上,我
使用
以下python代码来覆盖容器
中
的
命令
: return
ECSOperator
, ) 然而,我有一个错误,说: /bin
浏览 14
提问于2020-07-17
得票数 0
回答已采纳
3
回答
导入
EcsOperator
时Apache气流DAG错误
airflow
、
mwaa
我
的
requirements.txt我像这样导入
EcsOperator
:但是,我得到了以下错误: Broken DAG: [/usr/local/
airflow
/dags/mydag.py] Traceback (most recent4, in &
浏览 16
提问于2022-03-28
得票数 2
回答已采纳
1
回答
在
Kubernetes上
运行
Airflow
任务
kubernetes
、
airflow
我对
在
Kubernetes上
运行
特定
的
气流任务很感兴趣。
airflow
工人本身不需要在Kubernetes上
运行
。在做一些研究时,我偶然发现了KubernetesPodOperator。但是,我找不到
如何
配置operator以
在
集群
中
运行
的
示例。是否可以将KubernetesPodOperator配置为
在
远程群集上
运行
任务?行为应该类似于
ECSOperator
。
浏览 18
提问于2019-08-02
得票数 0
2
回答
气流:
如何
在dag_run.conf
中
获取
ECSOperator
值
python
、
docker
、
aws-fargate
、
airflow
我有一个过程,
使用
气流执行码头集装箱
在
AWS法尔盖特。码头容器只是
运行
用Python编写
的
ETL。
在
我
的
一些python脚本
中
,我希望允许团队成员传递
命令
,并认为dag_run.conf将是实现这一目标的好方法。我想知道是否有一种方法可以将来自dag_run.conf
的
值附加到
ecsoperator
的
重写子句中
的
命令
键
中
。我
的
重
浏览 8
提问于2021-08-04
得票数 3
3
回答
带有气流图像
的
码头定位主机错误(Windows 10)
docker
、
docker-compose
、
airflow
但是,我
在
localhost上
运行
了其他应用程序而没有
使用
VisualStudio(
使用
VisualStudio),当我
在
之后重新
运行
我
的
气流时,localhost不再工作了。我
的
AirFlow
设置为
在
localhost:8080上
运行
。有没有办法知道另一个应用程序是否正在
使用
8080? 我不知道我能在这里发布什么必要
的
信息来澄清我
的
问题。我相信
浏览 3
提问于2021-09-20
得票数 0
回答已采纳
1
回答
Airflow
DAG任务
在
我
运行
DAG时不
运行
,尽管任务
在
测试时工作正常
airflow
、
amazon-ecs
我
在
代码
中
定义了以下DAG: from datetime import timedelta, datetimefrom
airflow
import DAGdata-push-for-red data-push-for-yellow 然后,我通过
在
终端
中
输入以下内容来测试
运行
我
的
一个任务:
airflow
rundata-push data-push-
浏览 49
提问于2020-08-02
得票数 1
回答已采纳
2
回答
如何
更改
Airflow
web ui
的
dag包
文件夹
?
python
、
python-3.x
、
airflow
、
airflow-scheduler
Airflow
scheduler正在根据
airflow
.cfg文件
中
的
设置从正确
的
文件夹
中提取dags。但是,
Airflow
ui the服务器正在从错误
的
文件夹
中选取dags。我通过查看
运行
airflow
via服务器
的
终端
的
stdout实现了这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO
浏览 1
提问于2018-10-08
得票数 6
回答已采纳
1
回答
Airflow
-安装用户问题
airflow
、
airflow-scheduler
在
创建虚拟环境后,我们已经
在
linux环境
中
安装了
airflow
。它是以root用户身份安装
的
。所有已安装
的
文件都是
使用
root权限创建
的
。
在
dag
中
,我们
使用
BashOperator,其中python脚本被称为bash
命令
。此脚本应以
不同
的
用户'ABC‘
运行
。我不能用这个用户触发气流。在
运行
dag时
浏览 31
提问于2019-06-18
得票数 0
回答已采纳
3
回答
如何
将
airflow
scheduler作为守护进程
运行
?
google-compute-engine
、
scheduler
、
airflow
我尝试将
airflow
scheduler作为守护进程
运行
,但该进程不会持续很长时间。我已经
在
airflow
.cfg文件
中
配置了"LocalExecutor“,并
运行
以下
命令
来启动调度器(我正在
使用
谷歌计算引擎并通过PuTTY访问服务器)。
airflow
scheduler --daemon --num_runs=5 --log-file=/root/
airflow
/logs&
浏览 6
提问于2016-09-08
得票数 10
1
回答
如何
使用
窗口10
中
的
对接器组合正确设置气流环境变量?气流-init_1错误:
AIRFLOW
_UID未设置
docker
、
docker-compose
、
airflow
我
在
cmd
中
运行
docker-compose up
airflow
-init来
使用
提供
的
模板来部署气流,创建
文件夹
日志、插件和dags: Volume#initializing-environment
在
同步从docker到
文件夹
的
访问时,这似乎是一个错误,这在Linux或mac
中
通过
使用
echo -e
浏览 9
提问于2021-09-18
得票数 1
2
回答
如何
使用
环境变量更改安装
的
主
文件夹
?
python
、
environment-variables
、
airflow
、
airflow-scheduler
我正在尝试安装一个名为Apache
Airflow
的
程序。这些说明说明了
如何
指定主
文件夹
#
airflow
needs a home, ~/
airflow
is the default, # but you can lay foundation somewhere我
在
谷歌Colab工作,我希望
文件夹
在主目录
中
,这是/content。但是,无论我为export
AIRFLOW
_HOME=指定什么,
浏览 20
提问于2020-01-17
得票数 1
回答已采纳
1
回答
无法连接到气流
中
的
mysql后端[气流仍然连接到默认
的
sqlite ]
python
、
airflow
但气流雷达连接到默认
的
sqlite数据库。请参阅下面的配置,我试图连接到mysql。:3306/
airflow
But when i run "
airflow
db init", It stills points to sqlite and no->
浏览 10
提问于2022-01-29
得票数 0
1
回答
如何
将气流从码头转换为局部系统
docker
、
airflow
我
在
码头上安装了气流。我想知道
如何
改变从码头到我
的
本地系统
的
气流回家路径。例:气流之家(现在):/usr/local/
airflow
想要改为:mysystempath docker run -d -p 8080:8080 -v /path/to/dags/on/your/local/machine/:/usr/local/
airflow
/d
浏览 5
提问于2019-09-27
得票数 1
回答已采纳
4
回答
Docker
中
的
气流:
如何
将DAG添加到气流
中
?
docker
、
ubuntu
、
airflow
我想将DAG文件添加到
Airflow
中
,它在Ubuntu上
的
Docker
中
运行
。我
使用
了以下,其中包含配置和到docker镜像
的
链接。当我
运行
docker run -d -p 8080:8080 puckel/docker-
airflow
webserver时,一切都正常工作。但我找不到一种方法来安全地将DAG添加到气流
中
。此外,
在
home/root/dags
中
浏览 3
提问于2018-09-17
得票数 10
3
回答
即使
在
pip安装
airflow
[celery]之后也没有定义'CeleryExecutor‘
python
、
celery
、
airflow
我正尝试
在
本地计算机上从LocalExecutor切换到CeleryExecutor。我应该
使用
pip install
airflow
[celery]安装必要
的
库。我还安装并
运行
了redis。但是,当我尝试
运行
airflow
worker时,我得到以下错误:NameError: CeleryExecutor' isnot defined 我将broker url和celery_resu
浏览 0
提问于2017-11-23
得票数 2
2
回答
气流2.0:
在
pip3上安装“apache-
airflow
[amazon]”
的
分段故障(内核转储)
segmentation-fault
、
airflow
、
airflow-scheduler
我需要
使用
ECSOperator
。在从
Airflow
2.0 1.10.13迁移到
Airflow
2.0 2.0时,当我安装pip3安装'apache-airflowamazon'时,它给出了分段错误。在此之前,达格
的
工作都是
在
气流中进行
的
。参考资料: .有人能告诉我我哪里错了吗。
如何
纠正此分段错误,因为调度程序已在此问题之后停止
运行
。flask-login, colorama, prison, WTForms, fl
浏览 11
提问于2021-01-06
得票数 1
4
回答
气流:找不到dag_id
airflow
我
在
不同
的
AWS机器上
运行
一个气流服务器和工作人员。我同步了它们之间
的
dags
文件夹
,在这两个
文件夹
上
运行
了
airflow
initdb,并在
运行
airflow
list_tasks <dag_id>时检查了dag_id是否相同 当我
运行
调度程序和worker
命令
.
在
服务器机器上,路径是带有ubuntu
的
,但是在这两
浏览 4
提问于2017-04-05
得票数 17
2
回答
为什么
airflow
返回两个
不同
的
DAG列表?
airflow
如果我
运行
命令
airflow
list_dags,它将返回一个DAG列表。但是,DAG列表与我
在
web界面
中
DAG选项卡下看到
的
DAG列表
不同
。
airflow
list_dags
命令
仅返回教程DAGs,而不返回
airflow
/dags目录
中
的
DAGs。 为什么
airflow
为我提供了两个
不同
的
DAG列表?我
运行
浏览 0
提问于2017-08-01
得票数 2
1
回答
在
气流
中
向ECS操作符添加码头
运行
标志
docker
、
airflow
、
amazon-ecs
、
flags
我
在
气流中
使用
ECSOperator
,我需要把旗子传递到码头
运行
。我
在
互联网上搜索,但是我找不到给出一个
ECSOperator
标志
的
方法,比如:-D,--cpus等等。是否有一种方法可以
使用
ECSOperator
(我们可以传递标记和网络配置)将这些标志传递给码头
运行
(如果某个条件为真),或者只能在
运行
码头映像
的
ECS容器
中
定义这些标志?
浏览 6
提问于2022-10-16
得票数 1
1
回答
如何
在气流
中
获取commit_id和分支信息
python
、
airflow
合并gitlab代码后,触发了
airflow
dag,
如何
获取合并后
的
gitlab
的
commit_id和分支信息
浏览 16
提问于2021-08-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
任务流管理工具-Airflow配置和使用
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
数据作业自动化调度 AirFlow
airflow 实战系列:基于 python 的调度和监控工作流的平台
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券