腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Python
代码
中
检查
Airflow
DB
中
是否
已
存在
airflow
用户
、
、
、
我使用以下
python
代码
(来自https://
airflow
.apache.org/docs/apache-
airflow
/1.10.1/security.html#password)实现了这一点。我能够创建一个
用户
并使用该
用户
/密码对
Airflow
was服务器进行身份验证。# navigate to the
airflow
installation directory $ cd
浏览 30
提问于2021-01-09
得票数 1
12
回答
Airflow
未在/usr/local/
airflow
/dags中加载dags
Airflow
似乎跳过了我添加到/usr/local/
airflow
/dags
中
的dags。example_branch_dop_operator_v3example_http_operatorexample_
python
_operator/dags
中
的dags ls -la /usr/local/
浏览 0
提问于2017-08-07
得票数 29
1
回答
当本地
airflow
.cfg打包为zip文件时,CodeDeploy失败
、
在EC2实例
中
,有两个
airflow
.cfg文件,它们位于:/home/ec2-user/
airflow
/
airflow
.cfg 在文件夹'/
airflow
‘
中
,Dags数据
存在
。在文件夹'/home/ec2-user/
airflow
‘
中
浏览 1
提问于2019-02-21
得票数 1
1
回答
airflow
docker-compose.yml
中
的连接管理根本不起作用?
、
、
根据
airflow
connection management page,我们可以使用环境变量来创建连接: export
AIRFLOW
_CONN_MY_PROD_DATABASE='my-conn-typeparam1=val1¶m2=val2' 所以,我已经下载了官方docker-compose.yml $ curl -LfO 'https://
airflow
.apache.org/docs/apache-
airflow
/2
浏览 25
提问于2021-10-28
得票数 0
回答已采纳
7
回答
如
何在
气流
中
添加管理
用户
?
如
何在
气流
中
添加管理
用户
?import
airflow
from
airflow
.contrib.auth.backends.password_auth
浏览 4
提问于2019-11-13
得票数 4
回答已采纳
12
回答
执行任务后,
Airflow
scheduler似乎未运行
当有任务运行时,
Airflow
将弹出一个通知,说明调度程序似乎没有运行,并一直显示到任务完成:我的任务有点重,可能要运行几个小时。
浏览 87
提问于2019-08-27
得票数 39
4
回答
Docker
中
的气流:如何将DAG添加到气流
中
?
、
、
我想将DAG文件添加到
Airflow
中
,它在Ubuntu上的Docker
中
运行。我使用了以下,其中包含配置和到docker镜像的链接。当我运行docker run -d -p 8080:8080 puckel/docker-
airflow
webserver时,一切都正常工作。但我找不到一种方法来安全地将DAG添加到气流
中
。或者,我运行了docker run -d -p 8080:8080 puckel/docker-
airflow
webserver -v
浏览 3
提问于2018-09-17
得票数 10
2
回答
如何升级到气流2.0?
我的现有
代码
会起作用吗?还是会要求我更改我的DAG? 气流1.10.11及局部执行器和
Python
3
浏览 15
提问于2020-12-17
得票数 7
3
回答
如
何在
windows主机上从docker容器
中
执行docker命令
、
、
、
、
现在,我想对每个任务使用Apache气流来调度这个过程,也就是说,我想要为我的源
代码
创建一个码头映像,然后使用DockerOperator执行该映像
中
的源
代码
。据我所知,每次触发简单的ETL并执行DockerOperator时,new服务器容器都会为每个ETL任务创建一个新的“兄弟”容器,然后执行这个新容器
中
的源
代码
,并在任务完成后再次删除这个新容器。/docker-
airflow
/dags:/usr/local/
airflow<
浏览 8
提问于2020-01-17
得票数 1
回答已采纳
1
回答
当在Docker
中
运行Apache气流时,我如何解决即使在修复了DAG之后,DAG也不能完好无损的问题?
、
、
、
因此,在我的例子
中
,我以前在我的机器上直接运行过气流,现在我尝试使用码头在容器
中
运行,同时保持我以前的测试记录。不过,我一直有一些问题。但是,当我解决这个问题时,
代码
不会改变,DAG仍然会中断。我会提供 另外,下面是我的坞-撰写文件(我注释掉了气流
db
init,但我
是否
应该将它与
db
升级参数保持为真呢?
浏览 13
提问于2022-02-01
得票数 1
回答已采纳
5
回答
ModuleNotFoundError:没有使用Docker和
Airflow
命名为'pymongo‘的模块
、
、
、
、
我目前正在使用Docker和来运行
Airflow
我成功地安装了pymongo,但是当调用pymongo的导入时,它仍然找不到模块。在重新构建之前,我将以下
代码
添加到Dockerfile
中
的另一次运行之前RUN pip install pymongoRUN pip install pymongo -U 我用它们做的docker build --rm -t puckel/docker-
airflow
.Pymongo确实安装成功,但当我使用简单的dags导入来运行get服务器时,我仍然收到
浏览 0
提问于2019-04-25
得票数 3
1
回答
气流日期误差dag.normalize_schedule TypeError
、
、
) return/site-packages/
airflow
/utils/
db
.py", line 74, in wrapper return func(*args,
浏览 2
提问于2018-09-05
得票数 1
3
回答
即使使用requirements.txt,AWS MWAA
中
也没有名为____的模块错误
、
、
下面是我的requirements.txt的样子: apache-
airflow
==1.10.12google-api-
python
-client==2.2.0Flask-AppBuilder==2.3.3 boto3==1.17.59 然而,在我的
airflow
环境
中
,我一直收到“没有名为oauthclient的模块”错误。如何
检查
oauthclient
是否
已
实际安装,或者
Airflow
是否
浏览 30
提问于2021-05-04
得票数 1
回答已采纳
3
回答
airflow
初始化HiveOperator时,ImportError:无法导入名称initdb
、
、
我最近为我的工作流安装了
airflow
。SequentialExecutor[2016-08-15 11:17:01,319] {
db
.pyERROR [
airflow
.models.DagBag] Failed to import: /usr/local/lib
浏览 3
提问于2016-08-15
得票数 17
回答已采纳
1
回答
使用现有的芹菜在气流
中
异步运行自定义任务。
、
、
、
我想通过
python
代码
从DAG的任务
中
运行一个自定义任务。 File "/home/
airflow
/.local/lib/
python
3.7/site-packages/celery/result.py",celery.group', 'celery.map&
浏览 3
提问于2022-08-27
得票数 1
2
回答
Apache
Airflow
最佳实践:(
Python
)运算符或BashOperators
、
这些天,我正在做一个新的ETL项目,我想尝试一下作为工作经理的
Airflow
。我和我的同事都是第一次使用
Airflow
,我们采用了两种不同的方法:我决定编写
python
函数(类似apache-
airflow
项目中的运算符),而我的同事使用
airflow
通过BashOperator调用外部
python
脚本。我想知道
是否
有类似“良好实践”的东西,这两种方法
是否
一样好,或者我应该考虑一种而不是另一种。对我来说,主要的区别是:-使用BashOperator,你
浏览 2
提问于2017-11-28
得票数 13
1
回答
在气流
中
启用RDS身份验证
、
、
我已经配置了作为后端
DB
的AWS RDS的气流。现在,这个UI没有身份验证。也就是说,每当我点击URL时,它就会显示Dags等。现在如
何在
气流
中
启用RDS身份验证?请建议一下。气流版本: 1.10.3[ec2-user@ip-10-123-123-123
airflow
]$
python</e
浏览 1
提问于2019-08-02
得票数 0
回答已采纳
2
回答
在google cloud composer的
airflow
DAG
中
获取导入错误
、
、
、
我在google composer (
airflow
)中有一个导入的DAG:"ImportError:没有名为sensors.base_sensor_operator的模块“from
浏览 5
提问于2018-08-23
得票数 1
3
回答
在MWAA
中
安装自定义包(轮)
、
、
、
、
我们正在尝试安装可在plugins.zip
中
为MWAA环境提供的
python
包,并在requirements.txt
中
添加引用,
如
文档中所述,但我们仍然看到错误文件未找到。plugins└── requirements.txt requirements.txt /usr/local/
airflow
浏览 7
提问于2022-04-11
得票数 2
4
回答
气流
中
的
Python
脚本调度
、
、
、
、
大家好,注意:请不要用如
何在
气流
中
运行bash脚本文件来标记这个副本,因为我需要运行位于不同位置的
python
。
浏览 4
提问于2017-01-18
得票数 31
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
任务流管理工具-Airflow配置和使用
数据作业自动化调度 AirFlow
调度工具Airflow
大数据任务调度平台选型建议
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券