腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
有没有
什么
办法
可以
在
airflow
中
设置
我
的
代码
将
运行
的
工作
目录
?
python
、
python-3.x
、
airflow
我
正在尝试帮助我
的
数据科学家团队使用
airflow
运行
他们
的
代码
。
我
面临
的
问题是他们
的
python脚本会读/写一些中间文件。1)
有没有
办法
设置
他们
的
脚本和文件所在
的
工作
目录
,这样它就不会弄乱dags文件夹了? 2)即使
我
使用dag文件夹,每次读/写这些文件时也必须指定绝对路
浏览 41
提问于2019-03-22
得票数 6
2
回答
如何使用环境变量更改安装
的
主文件夹?
python
、
environment-variables
、
airflow
、
airflow-scheduler
我
正在尝试安装一个名为Apache
Airflow
的
程序。
我
在
谷歌Colab
工作
,
我
希望文件夹在主
目录
中
,这是/content。但是,无论
我
为export
AIRFLOW
_HOME=指定
什么
,主文件夹始终
在
/root
中
设置
。
我
到目前为止所尝试
的
export
AIR
浏览 20
提问于2020-01-17
得票数 1
回答已采纳
4
回答
气流Unittest.cfg许可问题?
python
、
airflow
、
amazon-eks
、
kubernetesexecutor
所以我要在EKS上
设置
气流。 (TEST_CONFIG_FILE,'w')作为f: PermissionError: Errno 13权限被拒绝:'/usr/local/
airflow
/unittests.cfg‘
我
试过进入豆荚,chmod和chown文件。
我
<e
浏览 7
提问于2020-09-29
得票数 5
1
回答
Docker
中
的
气流init创建空
目录
docker
、
docker-compose
、
airflow
我
正在做
的
项目之一是使用气流。因此,
我
使用文档来安装带有对接组件
的
气流。
我
希望dags plugin和logs
目录
与docker-compose.yaml不在同一个
目录
中
,因此
我
将它们放在另一个名为
airflow
的
目录
中
,并引用docker-compose.yaml
中
的
目录
/
airflow</
浏览 3
提问于2022-05-21
得票数 1
回答已采纳
1
回答
使用Apache
Airflow
在
Kubernetes
中
创建展开
kubernetes
、
deployment
、
airflow
我
想创建一个部署kubernetes而不是pod。
有没有
办法
在
apache
airflow
中
做到这一点?
我
知道KubernetesPodOperator,但我想要
的
是部署,而不是Pod。阿帕奇气流
中
的
KubernetesPodOperator k = KubernetesPodOperator(namespace='default',
浏览 0
提问于2019-03-21
得票数 2
1
回答
我
希望Docker非root用户能够写入持久卷?
我
该如何解决这个问题呢?
docker
我
正在
设置
一个
运行
Apache
Airflow
的
游戏区。
我
希望
目录
/
airflow
为用户
Airflow
所拥有,因此是可写
的
。
我
的
Dockerfile看起来像这样:COPY .=/
airflow
RUN useradd -G sudo
浏览 3
提问于2019-02-12
得票数 2
5
回答
Airflow
:通过UI
在
airflow
中
创建DAG
airflow
、
airflow-scheduler
Airflow
老兵请帮帮忙
我
正在寻找cron
的
替代品,偶然发现了apache
airflow
。 我们有一个
设置
,其中多个用户应该能够创建他们自己
的
DAG并计划他们
的
作业。我们
的
用户是可能不知道如何编写DAG python文件
的
混合用户。此外,他们可能无法访问
运行
airflow
的
服务器。 是否
可以
通过UI创建气流DAG。
我
找不到任何与此相同<em
浏览 155
提问于2018-02-26
得票数 21
回答已采纳
3
回答
运行
Airflow
命令行后,sqlite3引发错误
sqlite
、
airflow
当我
运行
命令:
airflow
list_users时,它引发了如下错误:this error at: http://sqlalche.me/e/e3q8)
运行
后也存在相同
的
错误:
airflow
浏览 2
提问于2019-07-17
得票数 5
回答已采纳
2
回答
如何在虚拟环境中使用apache
airflow
?
python
、
airflow
、
virtualenv
、
directed-acyclic-graphs
我
对使用apache
airflow
非常陌生。
我
使用pycharm作为
我
的
IDE。
我
创建了一个项目(anaconda环境),创建了一个包含DAG定义和Bash操作符
的
python脚本。当我打开
airflow
When服务器时,
我
的
DAGS不显示。仅显示默认示例DAG。
我
的
AIRFLOW
_HOME变量包含~/
airflow
。所以我在那里存
浏览 2
提问于2019-07-04
得票数 7
回答已采纳
3
回答
气流:码头-组成:“您正在
运行
pip作为根请使用用户
运行
pip”
docker-compose
、
airflow
、
airflow-2.x
要求:使用正式码头
运行
本地气流-使用气流2.3.0版撰写:“您正在
运行
pip作为根,请使用用户
运行
pip”
我
用2.2.4
可以
跑得很好,但用2.3.0就不行了mkdir -p ./plugins
浏览 8
提问于2022-05-03
得票数 1
回答已采纳
4
回答
Windows 7上
的
Airflow
安装问题
airflow
如何在Windows 7上安装
Airflow
?使用pip install apache-
airflow
安装时出现以下错误: ---------------------------------------- Command "c:\users
浏览 0
提问于2018-04-17
得票数 2
1
回答
无法从其他文件夹导入类
python
、
airflow
我
有一个类似的问题,这个
的
解决方案不能解决
我
的
问题。 -dags -AddedOperators --sage
浏览 2
提问于2019-03-03
得票数 1
回答已采纳
1
回答
气流
工作
者守护进程无缘无故地退出。
ubuntu
、
systemd
、
airflow
、
worker
我
有空气流动1.9
运行
在一个虚拟环境,
设置
与芹菜和雷迪斯,它
运行
良好。然而,
我
想要守护进程-将
设置
和使用指令。它对well服务器、Scheduler和for很好,但是对于
工作
人员来说却失败了,这当然是所有这些
的
核心。奇怪
的
是,如果
我
按原样
在
CLI上
运行
ExecStart命令,那么它将完美地
运行
,任务也会
运行
,并且一切都是光荣
的
。
浏览 1
提问于2018-04-09
得票数 4
回答已采纳
3
回答
helm升级时缺少图表元数据(Chart.yaml)
kubernetes
、
airflow
、
kubernetes-helm
、
minikube
我
遵循这个,在这个命令下, helm upgrade --install
airflow
airflow
/ \ --namespace
airflow
\ --values values.yaml
我
得到了这个错误。但实际上
我
在
airflow
/下有Chart.yaml文件。
浏览 1
提问于2019-04-10
得票数 4
1
回答
如何从使用KubernetesPodOperator启动
的
pod访问Google Cloud Composer
的
数据文件夹?
kubernetes
、
google-cloud-platform
、
airflow
、
google-cloud-composer
Composer使用FUSE
将
目录
映射到其所有
Airflow
worker pods上
的
路径/home/
airflow
/gcs/data。
在
我
的
DAG
中
,
我
运行
了几个Kubernetes pod,如下所示: from
airflow
.contrib.operators import kubernetes_pod_operatorpod
浏览 20
提问于2021-11-04
得票数 2
1
回答
气流用户模拟(run_as_user)不
工作
airflow
我
正在尝试使用run_as_user功能在气流
中
为我们
的
DAG和我们面临一些问题。有
什么
帮助或建议吗?* * * *',) task_id='hive-ex', dag=dag
我
有气流添加到sudoers,它
可以
切换到气流用户,没有密码从Linux外壳。
airflow
ALL=(ALL) NOPAS
浏览 12
提问于2020-06-10
得票数 3
2
回答
如何更改
Airflow
web ui
的
dag包文件夹?
python
、
python-3.x
、
airflow
、
airflow-scheduler
Airflow
scheduler正在根据
airflow
.cfg文件
中
的
设置
从正确
的
文件夹中提取dags。但是,
Airflow
ui the服务器正在从错误
的
文件夹中选取dags。
我
通过查看
运行
airflow
via服务器
的
终端
的
stdout实现了这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO
浏览 1
提问于2018-10-08
得票数 6
回答已采纳
1
回答
无法连接到气流
中
的
mysql后端[气流仍然连接到默认
的
sqlite ]
python
、
airflow
我
已经改变了下面的信任连接气流到mysql数据库。但气流雷达连接到默认
的
sqlite数据库。请参阅下面的配置,
我
试图连接到mysql。:3306/
airflow
But when i run "
airflow
db init&q
浏览 10
提问于2022-01-29
得票数 0
4
回答
如何在气流
中
安装组件(对接-组合)?
python
、
docker
、
airflow
唯一
的
区别是
我
在
码头里
运行
气流
有没有
不需
浏览 12
提问于2021-06-08
得票数 15
回答已采纳
1
回答
如何
将
命令发送到远程计算机上发布
的
AirFlow
airflow
我
有一个正常
运行
在远程机器上
的
AirFlow
服务,它
可以
通过浏览器访问URL: 现在,
我
想动态地
将
DAG从(另一台机器)上传到
airflow
.xxx.com
的
AirFlow
,并使DAG自动
运行
。
在
我
阅读了气流文档:之后,
我
找到了动态创建DAG并自动
运行
它
的
方法,这
可以
在
气
浏览 0
提问于2017-11-30
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
任务流管理工具-Airflow配置和使用
调度工具Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
没看过这篇文章,别说你会用Airflow
为什么数据科学家不需要了解Kubernetes
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券