腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apache
Airflow
上
的
列表
超出
索引
python
、
airflow
我在
airflow
中
的
DAG上有这段代码 datas = [] data = 1+1 data = datas[0] return data 奇怪
的
是,如果我在普通
的
python
上
运行代码,它会像预期
的
那样工作,但当我在
airflow
上
运行它时,它总是
浏览 12
提问于2020-10-01
得票数 1
回答已采纳
1
回答
使用自定义Pypi
索引
的
additional_dependencies预提交类型
python-3.x
、
mypy
、
pre-commit-hook
、
pre-commit
、
pre-commit.com
在我
的
.pre-commit-config.yaml中,我有下面的mypy配置 rev:- id: mypy additional_dependencies:
apache
-
airflow
==2.3.3,
apache
-
airf
浏览 8
提问于2022-10-23
得票数 0
回答已采纳
1
回答
从django celery任务迁移到
apache
airflow
django
、
celery
、
airflow
、
celery-task
有一个数据收集工作流,它是通过celery任务实现
的
,这些任务相互依赖并并行运行。我希望将所有这些逻辑迁移到
apache
airflow
,因为我认为它适合我
的
需要,并且启动和重新启动任务、构建更复杂
的
工作流、监视和调试将更加方便。 我以前从来没有用过气流。我
的
计划合理吗?
浏览 94
提问于2020-08-29
得票数 1
回答已采纳
1
回答
airflow
如何使用git sync从git分支中
的
dag文件夹中拾取dag
git
、
airflow
、
kubernetes-helm
我
的
公司使用git-sync将压缩
的
dags同步到
airflow
。我们使用气流舵面图来展开气流。我想知道我是否可以让
airflow
只拾取特定文件夹中
的
压缩dags,比如git分支中
的
dags-dev,而不是所有的压缩dags? 下面是一些可能有用
的
参考资料。 气流舵图
的
值文件。https://github.com/helm/charts/blob/master/stable/
浏览 66
提问于2020-08-27
得票数 7
1
回答
在
airflow
中,default_ui_timezone和dag时区均未更新
timezone
、
airflow
我已经在
airflow
配置覆盖中设置了default_ui_timezone和default_timezone,如下所述,我也可以在cfg文件中看到这一点。
浏览 35
提问于2021-05-02
得票数 0
1
回答
Windows 10
上
的
Apache
Airflow
Dev 2.0安装程序
docker
、
airflow
我对
Apache
Airflow
非常陌生,有人能提供在windows环境(包括Docker)
上
安装和运行
Apache
Airflow
Dev 2.0
的
步骤吗?我在那里找到了很多关于安装
Apache
Airflow
1.10.x
的
好文章。
浏览 22
提问于2020-05-03
得票数 0
2
回答
在气流中看不到雪花conn_type
airflow
、
snowflake-cloud-data-platform
我可以在pip
列表
中看到以下内容,但当我尝试通过GUI添加Snowflake连接时,Snowflake不是下拉
列表
中
的
一个选项。
apache
-
airflow
-providers-雪花2.1.0雪花-连接器-python 2.5.1雪花-sqlalchemy 1.2.3 我是不是遗漏了什么?
浏览 1
提问于2021-08-10
得票数 0
2
回答
用于气流ModuleNotFound
的
导入错误aws_lambda
amazon-web-services
、
aws-lambda
、
airflow
、
airflow-2.x
这是我
的
Dockerfile下面是导入aws_lambda调用
的
方式: from
airflow
.providers.am
浏览 3
提问于2022-04-25
得票数 0
2
回答
气流日志文件异常
airflow-scheduler
、
airflow
我正在使用
apache
airflow
来运行我
的
dags。服务器、调度器和postgres
的
docker组合文件是:services: image: postgres:123 image:
apache
/
airflow
depends_on: - pg_
a
浏览 0
提问于2020-07-27
得票数 2
1
回答
用于官方气流舵图
的
terraform helm_release资源
terraform
、
airflow
、
terraform-provider-helm
我试图使用terraform头盔释放来部署正式
的
气流舵图。但它说没有找到图表储存库。我把储存库
的
网址。可能是网址错了。repository = "https://
airflow
.
apache
.org" name = "
airflow
"version = "1.7.0" namespa
浏览 6
提问于2022-10-19
得票数 0
1
回答
Airflow
-无法导入Spark provider - package:未定义名称'client‘
python
、
apache-spark
、
pip
、
airflow
我已经在现有的
Airflow
2.0.0安装
的
基础
上
安装了
Apache
Spark provider,安装方法如下: pip install
apache
-
airflow
-providers-
apache
-spark' from '
apache
-
airflow
-providers-
apache
-spark' package: name 'client' is not
浏览 16
提问于2021-01-20
得票数 3
1
回答
airflow
docker-compose.yml中
的
连接管理根本不起作用?
docker
、
docker-compose
、
airflow
根据
airflow
connection management page,我们可以使用环境变量来创建连接: export
AIRFLOW
_CONN_MY_PROD_DATABASE='my-conn-typeparam1=val1¶m2=val2' 所以,我已经下载了官方docker-compose.yml $ curl -LfO 'https://
airflow
.
apache
.org/docs/
apache
-
a
浏览 25
提问于2021-10-28
得票数 0
回答已采纳
8
回答
安装气流时出错:默认情况下,气流
的
依赖项之一安装GPL
airflow
运行pip install
airflow
[postgres]命令后获得以下错误:> a GPL "> RuntimeError: By default one of
Airflow
's dependencies installs a GPL> SLUGIFY
浏览 12
提问于2018-09-06
得票数 63
回答已采纳
1
回答
在Google
的
气流实例
上
安装
apache
-
airflow
-backport-providers-google模块
airflow
、
google-cloud-composer
、
google-cloud-data-fusion
“
apache
-
airflow
-google”,在这个链接
的
支持下,我知道我需要使用这个模块: UPDATE operation on this environment failed 7 minutes ago with the following
apache
-
airflow
-provider
浏览 6
提问于2021-10-15
得票数 0
回答已采纳
1
回答
当在Docker中运行
Apache
气流时,我如何解决即使在修复了DAG之后,DAG也不能完好无损
的
问题?
python
、
docker
、
docker-compose
、
airflow
因此,在我
的
例子中,我以前在我
的
机器
上
直接运行过气流,现在我尝试使用码头在容器中运行,同时保持我以前
的
测试记录。不过,我一直有一些问题。但是,当我解决这个问题时,代码不会改变,DAG仍然会中断。: pipeline-scripts_
airflow
-docker-db
浏览 13
提问于2022-02-01
得票数 1
回答已采纳
4
回答
如何在气流中安装组件(对接-组合)?
python
、
docker
、
airflow
唯一
的
区别是我在码头里运行气流 我想启动气流与requirements.txt
的
依赖关系。有没有不需要重建图像
的
解决方案?
浏览 12
提问于2021-06-08
得票数 15
回答已采纳
1
回答
Airflow
Docker不健康触发器
docker
、
airflow
我正在尝试使用docker和
airflow
提供
的
docker-compose文件在我
的
机器
上
设置
airflow
:https://
airflow
.
apache
.org/docs/
apache
-
airflow
airflow
_
airflow
-scheduler_1 3315f125949c
apache
/
airflow</em
浏览 36
提问于2021-10-12
得票数 0
回答已采纳
2
回答
支持Contrib操作符
的
Airflow
2.0
airflow
我使用了Lambda Hook和
Airflow
v1.10.11,它在contrib部分下。在2.0版本中,有人可以建议如何使用Lambda钩子吗?我现在也不能访问气流链接。() 链接:
Airflow
2.0支持
的
挂钩:
浏览 0
提问于2020-12-22
得票数 1
1
回答
是否有人设法使用Docker
apache
/
airflow
访问SQL Server :2.0.1
python
、
sql-server
、
docker
、
airflow
我正在尝试使用docker-compose
的
apache
airflow
,使用基本
的
容器容器
apache
/
airflow
:2.0.1。我正在学习本教程https://
airflow
.
apache
.org/docs/
apache
-
airflow
/stable/start/docker.html# 如何运行简单
的
查询来从SQ
浏览 13
提问于2021-04-12
得票数 0
回答已采纳
6
回答
在pip安装中,方括号意味着什么?
python
、
pip
、
dependency-management
我看到越来越多这样
的
命令:这些方括号是做什么
的
?
浏览 4
提问于2017-10-16
得票数 214
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS推出Apache Airflow全托管工作流MWAA
自学14天后,我毁掉了自己的数据工程师面试
Apache软件基金会现价值 200 亿美元
站住,别动OO
基于Apache DolphinScheduler构建数据平台的实践分享
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券