腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dockerfile
中
的
Airflow
未
创建
数据库
时
出错
python
、
docker
、
sqlalchemy
、
airflow
当我在Macos环境中使用docker-compose运行
Airflow
时
,我得到了以下错误。connexion.exceptions.ResolverError: <ResolverError: columns> https://pastebin.com/hSpcthUS 由于SqlAlchemy
的
问题,它没有
创建
数据库
。
浏览 25
提问于2021-04-23
得票数 0
1
回答
气流+ Kubernetes工人
数据库
连接
python
、
postgresql
、
kubernetes
、
airflow
我已经成功地在Kubernetes (webserver和调度器)
中
设置了一个气流部署,配置了Kubernetes执行器和一个带有气流元数据
的
Postgres模式。在do_execute cursor.execute(语句、参数)sqlite3.OperationalError
中
:没有这样
的
表: slot_pool 据我所知,worker pod试图从sqlite
中
获取元数据,但是
数据库
中
没有任何这些表。我已经有了一个元数据
数据库
,我希望工作人员使用
浏览 0
提问于2021-01-07
得票数 1
回答已采纳
3
回答
在Apache
Airflow
中
实现Postgres Sql
postgresql
、
sqlalchemy
、
installation
、
airflow
、
ubuntu-18.04
我在Ubuntu版本18.04.3服务器上实现了Apache-
Airflow
。当我设置它
时
,我使用
的
是sql lite通用
数据库
,而它使用
的
是顺序执行器。我这样做只是为了玩玩和适应这个系统。现在我正在尝试使用Local Executor,并且需要将我
的
数据库
从sqlite转换到推荐
的
postgres sql。 有谁知道如何实现这一转变吗?我发现
的
所有教程都需要从一开始就使用postgres sql设置
Airflow
。
浏览 2
提问于2019-10-15
得票数 9
1
回答
尽管通过docker-compose
创建
了docker容器,但docker容器仍无法相互查看
docker
、
docker-compose
、
airflow
、
airflow-scheduler
我在localhost
中
运行
Airflow
2.1.2,使用: docker-compose version: '3' webserver: image: analytics-
airflow
- .
dockerfile
:
Dockerfile
-python3
浏览 69
提问于2021-09-08
得票数 0
回答已采纳
1
回答
如何修复在运行docker-组合时出现
的
“拒绝权限”错误
docker
、
docker-compose
、
airflow
、
airflow-scheduler
我正在使用码头运行
Airflow
2.0,当我运行sudo docker-compose up --build
时
我得到了一个错误 错误: apache_
airflow
_scheduler_1无法启动服务调度程序: OCI运行时
创建
失败: container_linux.go:380:启动容器进程导致: exec:“./script/
airflow
-entrypoint.sh”:权限拒绝:未知错误:对于webserver无法启动服务webserver: apache_
airflo
浏览 6
提问于2021-09-11
得票数 2
1
回答
在
DockerFile
的
FROM中指定--build-args
docker
、
dockerfile
我
的
DockerFile
FROM puckel/docker-
airflow
ARG
AIRFLOW
_VERSIO
浏览 18
提问于2020-01-07
得票数 2
回答已采纳
1
回答
气流:找不到模块
python
、
docker-compose
、
airflow
、
directed-acyclic-graphs
我试图在气流
中
安排一个python脚本。当脚本开始执行时,它无法找到特定
的
mysql模块。我已经安装了mysql连接器。所以这不应该是个问题。请帮帮我。
浏览 1
提问于2022-08-20
得票数 0
2
回答
由于卷
中
容器
创建
的
链接,Docker-组合生成失败。
docker
、
docker-compose
、
airflow
、
docker-volume
在运行时,它
创建
一个文件系统链接/usr/local/
airflow
/logs/scheduler/latest,该链接在容器中有一个有效
的
目标,但不在主机
中
。下次运行docker-compose build
时
,它会访问该链接并导致构建失败。 我尝试过忽略.dockerignore
中
的
日志目录,但这并没有改变任何事情。我想完全忽略
airflow
/logs目录。理想情况下,在主机<em
浏览 3
提问于2018-01-31
得票数 2
回答已采纳
1
回答
如何在Ubuntu上本地运行
的
气流2.x上安装Kubernetes执行器--无舵图
linux
、
airflow
、
ubuntu-20.04
、
airflow-2.x
谁能告诉我如何在本地气流部署
中
配置kuberenetes执行器。我
创建
了一个名为
airflow
-cluster
的
集群,并
创建
了pod_template.yaml,并在
airflow
.cfg中进行了以下更改。examplebashoperatorthiswillskip.b9474f2673524a538ed2fddb6af00dd0 0/1 Pending 0 113s 我不是kubernetes的人,我已经为日志和dags
创建</em
浏览 4
提问于2022-01-21
得票数 1
1
回答
我在运行气流
时
出现了这个错误
python
、
docker
、
airflow
文件"/home/
airflow
/.local/lib/python3.7/site-packages/
airflow
/providers_manager.py",第255行,_sanity_check_gcd_import(名称:、包、级别)文件"",第1006行,_gcd_import文件
中
的
"",第983行,_find_and_load文件
中
的
浏览 3
提问于2022-09-01
得票数 -3
2
回答
添加
Dockerfile
以安装更多依赖项
时
出错
python-3.x
、
docker
、
airflow
我正在使用这个https://github.com/tuanavu/
airflow
-tutorial git repo,在码头容器
中
运行
airflow
,但同时我还想安装额外
的
要求。我正在尝试安装git以及我在
airflow
-tutorial目录
中
创建
的
Dockerfile
的
一些其他依赖项。并在文件
中
添加了以下行。然后尝试用docker-compose up -
浏览 28
提问于2020-06-19
得票数 0
1
回答
除非处于调试模式,否则
Airflow
Docker Swarm不会启动
docker
、
docker-compose
、
airflow
、
docker-swarm
、
health-check
另外还有2个工作节点,每个节点都有一个正在运行
的
工作节点。 我遇到了一个调度程序
的
问题。默认
的
运行状况检查即使在20分钟后也不会成功,即使运行状况检查只是对did服务器
的
一个小ping。这一切都是在调度器实际正常工作并完成其工作,以及正在执行
的
任务和dags
的
情况下完成
的
。奇怪
的
是,如果环境
AIRFLOW
__LOGGING__LOGGING_LEVEL设置为DEBUG,则运行状况检查会起作用,但如果它在INFO
中
,则
浏览 32
提问于2021-06-28
得票数 1
1
回答
为什么我在Docker
中
收到使用Boto3
时
源配置文件"default“必须有凭据
的
错误?
amazon-web-services
、
docker
、
boto3
、
aws-cli
dockerfile
:
Dockerfile
- ./
airflow
.env volumes: depends_on:当运行一个使用boto3连接到s3
的
脚本
时
,它工作得很好。这里
的
问题是,我将凭据添加到映像
中
,这是一种糟糕
的</
浏览 0
提问于2021-10-15
得票数 1
1
回答
如何在气流
的
“码头-合成”
中
覆盖“命令”场?
docker
、
docker-compose
、
airflow
当我运行docker-compose up命令
时
,它不工作(看起来sh /opt/
airflow
/my_application/configs/configure_all.sh被每个服务
的
命令覆盖) 因此,它无法在构建
时
访问/opt/
airflow
/my_application/configs/configure_all.sh
浏览 0
提问于2021-10-28
得票数 0
2
回答
Airflow
服务器缺少git
airflow
我安装了一个puckel
airflow
服务器和celery executor,一切都很好,但是今天我意识到docker镜像没有git。我想知道是否有人知道这个docker没有git,也没有办法安装这些软件包,因为在docker
中
运行命令
的
用户是
airflow
,具有有限
的
权限无法运行apt-get...除非我明确说明,否则docker会运行https://github.com/puckel/docker-
airflow
浏览 23
提问于2020-06-08
得票数 0
1
回答
无法从插件文件夹导入
创建
的
包
python
、
pip
、
airflow
、
python-module
我正在使用
Dockerfile
和
Dockerfile
运行apache气流,并且我有以下气流文件夹结构: example_dagpf_utilsplugins snowflake_operator.py --> from pf_utils.db import get_primary_keys 我已经从文件夹实用程序
中
创建
了一个包,以便能够按照
中
的
说明导入它
的
函数在dags和插
浏览 2
提问于2021-08-09
得票数 1
1
回答
使用docker更改气流
的
postgres端口
python
、
postgresql
、
docker
、
airflow
我目前正在使用
Airflow
网站提供
的
官方docker-compose文件,做了一些小调整,并在
Dockerfile
的
基础上构建了一个
Dockerfile
version: "3" RUN pip uninstall --yes azure-storage && pip i
浏览 59
提问于2021-08-16
得票数 0
2
回答
气流:如何通过装配机安装pip软件包?
docker
、
pip
、
airflow
好吧,我可能很蠢,但无论如何,我如何通过
的
docker-compose文件安装额外
的
pip包?x-
airflow
-
浏览 8
提问于2021-03-18
得票数 18
回答已采纳
4
回答
如何在气流
中
安装组件(对接-组合)?
python
、
docker
、
airflow
唯一
的
区别是我在码头里运行气流 有没有不需要重建图像
的
解决方案?
浏览 12
提问于2021-06-08
得票数 15
回答已采纳
1
回答
在停靠
的
apache
airflow
python操作符内部以编程方式
创建
SSH隧道
python
、
docker
、
docker-compose
、
airflow
、
ssh-tunnel
我
的
程序无法在运行apache
airflow
的
docker容器
中
创建
SSH隧道。只有在我
的
本地机器上运行函数才能正常工作。我有一个服务器列表,用于
创建
隧道、查询
数据库
和关闭连接。然而,在Docker
中
,它不起作用。我意识到docker运行并绑定到端口,而实际上并不是主机系统
的
一部分,所以我使用network_mode="host"来帮助缓解这个问题。
dockerfile
: .&
浏览 16
提问于2019-06-22
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
跟我一起学docker(七)-Dockerfile
为什么数据科学家不需要了解Kubernetes
任务流管理工具-Airflow配置和使用
大规模运行Apache Airflow的经验和教训
调度工具Airflow
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券