设置Apache Airflow时无法执行脚本docker-compose

文章/答案/技术大牛

发布

1回答

docker、docker-compose、yaml、airflow

我正在使用Docker Compose设置Apache Airflow，当我使用 docker-compose up airflow-init 我得到这个错误： Traceback (most recentof the above exception, another exception occurred: File "bin/docker-compose', FileNotFoun

浏览 37提问于2021-08-15得票数 0

回答已采纳

1回答

docker-compose env文件在yml中工作，但不使用命令行参数

docker、docker-compose、environment-variables、airflow

我有一个docker-compose文件，如下所示： version: '3.8' scheduler: webserver: entrypoint: ./dags:/opt

浏览 17提问于2020-11-09得票数 2

回答已采纳

1回答

Ubuntu20.04重新启动时的cronjob不工作

command-line、bash、scripts、cron

当我手动运行它时，这个脚本工作得很好，但是它没有在我的crontab上工作。启动pc时，我需要执行bash脚本。Crontab：(不工作开始)Bash内容(stop_airflow.sh)cd /var/www/airflow &

浏览 0提问于2021-12-05得票数 -1

1回答

气流成功地从S3中写入和读取，但不会在停靠器上加载S3日志

docker-compose、airflow

我正在使用puckle的气流对接器()与对接-合成-地方执行器。该项目是通过EC2实例上的CI/CD部署的，因此我的气流不会在持久服务器上运行。(每推一次主，就会重新启动)。我知道我正在失去一些很棒的特性，但是在我的设置中，一切都是由bash脚本和/或环境变量配置的。我的设置类似于这个答案设置：&&

浏览 2提问于2020-01-22得票数 1

回答已采纳

2回答

如何将变量从Makefile传递到Python脚本中

python、docker、variables、makefile、docker-compose

我有一个Makefile，它运行一个，它有一个容器来执行python脚本。我希望能够将命令行中的一个变量传递给Makefile，并在python (testing.py)中打印它。Makefile是： WORKING_DAG=$(working_dag) docker-composeremove-orphans --build --force-recreateversion: "3.7" services:

浏览 5提问于2021-02-02得票数 0

回答已采纳

1回答

从码头-组合连接到Postgres作为SystemD服务

postgresql、docker、docker-compose、systemd、docker-networking

docker-compose containers ---> postgres as systemdcurl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.3/docker-compose.yaml我已经为d

浏览 14提问于2022-02-02得票数 0

回答已采纳

3回答

Airflow:如何从docker镜像同时运行webserver和scheduler？

docker、airflow

我对Docker和Airflow都缺乏经验，所以这可能是一个愚蠢的问题。我有一个Dockerfile文件，它将apache/airflow映像与我自己的一些DAG一起使用。下面是我的Dockerfile的样子：COPY airflow/dags/ /opt/airflow/dags/然后我运行

浏览 7提问于2020-06-20得票数 3

1回答

新的图书馆需要气流

python、docker、docker-compose

我目前正在使用docker-compose up来运行我从docker得到的apache airflow镜像。但是，当我尝试运行我的pythonOperator(包含其他库的python脚本)时，在构建airflow时出现错误。- POSTGRES_PASSWORD=airflow ports: webse

浏览 10提问于2020-09-09得票数 2

回答已采纳

1回答

如何在Airflow中将Postgres设置为后台数据库？

postgresql、airflow

我正在尝试建立postgres和airflow之间的联系，这是我的docker-compose version: '3' postgres: webserver: image: apache/airflow:1.10.13-python3.6/airflow/dag:/opt/airflo

浏览 77提问于2020-12-06得票数 1

回答已采纳

3回答

第一次登录Apache* Airflow时要求输入用户名和密码，用户名和密码是什么？*

airflow

我刚刚安装了Apache Airflow，并且我是第一次启动set服务器，它要求我输入用户名和密码，我没有设置任何用户名和密码。你能告诉我airflow的默认用户名和密码是什么吗？

浏览 81提问于2021-02-12得票数 14

回答已采纳

1回答

如何使用窗口10中的对接器组合正确设置气流环境变量？气流-init_1错误: AIRFLOW_UID未设置

docker、docker-compose、airflow

我在cmd中运行docker-compose up airflow-init来使用提供的模板来部署气流，创建文件夹日志、插件和dags： Volume>docker-compose up airflow-initairflow-init_1 | https:/&

浏览 9提问于2021-09-18得票数 1

2回答

如何访问气流2.0CLI

docker、docker-compose、airflow、airflow-scheduler

我正在使用码头运行气流，我想使用cli执行、pause、和取消暂停，这是因为我无法在远程的数字海洋水滴服务器上安装浏览器，以便访问气流UI。目前，我正在尝试使用命令sudo docker exec -it $(docker-compose -f docker-compose.yaml ps -q webserver) bash访问气流cli，但是我得到了一个错误 docker.errors.DockerException:获取服务器API版本时出错：(‘连接中止。’，PermissionError(13，‘权限拒绝’)

浏览 1提问于2021-09-13得票数 2

2回答

无法在Airflow* 1.10.14上运行DAG，在官方Apache\*Airflow映像上使用docker-compose运行

docker、docker-compose、airflow

我一直在尝试设置Airflow 1.10.14来执行基于Python的进程，在docker容器上使用docker-compose。主机为Ubuntu 18 VM。我的Dockerfile： FROM apache/airflow:1.10.14RUN pip install --upgrade pip USER airflow</

浏览 53提问于2020-12-25得票数 0

1回答

Apache气流配置文件:docker-组合文件中的环境变量无法工作。

docker、airflow

在apache气流配置中，我试图将顺序执行器更改为芹菜执行器，并在坞-组合文件中使用环境变量：x-airflow-common: #directory where you placed the docker-compose.yaml # and uncomment the "build" line below, Then run `docker-compose#imag

浏览 5提问于2021-11-22得票数 0

回答已采纳

1回答

初始化后的气流退出

postgresql、docker-compose、airflow

我正在尝试在一个Ubuntu EC2实例中使用docker-compose来设置airflow实例。在气流初始化之后，该过程不再前进。我正在努力修复它。我使用下面的docker组合文件：https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml。当我尝试在我的windows桌面上运行相同的docker编写文件时</e

浏览 47提问于2021-08-09得票数 0

1回答

cloud composer的本地测试

google-cloud-platform、airflow、google-cloud-composer

在部署我们的代码之前，我们想要在本地测试它，为此，我们已经使用了apache/ airflow :1.10.14图像的docker-compose设置，因为我们在GCP中使用airflow 1.10.14

浏览 3提问于2021-11-19得票数 1

2回答

如何使用对接组合文件设置气流中的连接和变量

docker、docker-compose、airflow

我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。directory where you placed the docker-compose.yaml

浏览 17提问于2021-09-27得票数 4

回答已采纳

1回答

更改默认气流配置选项(在码头上运行)

docker、docker-compose、yaml、airflow

为了学习，我一直试图在一组码头容器上设置一个气流实例。我只知道码头和气流的基本要素。在遵循指南时，我可以启动容器，一切都如预期的那样工作。image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.4.2} # build: .然后运行docker-compose up airflow-init。下面是终端中显示的最后一行。Please update your co

浏览 4提问于2022-11-12得票数 0

回答已采纳

1回答

如何修复在运行docker-组合时出现的“拒绝权限”错误

docker、docker-compose、airflow、airflow-scheduler

我正在使用码头运行Airflow 2.0，当我运行sudo docker-compose up --build时我得到了一个错误错误: apache_airflow_scheduler_1无法启动服务调度程序/script/airflow-entrypoint.sh”：权限拒绝:未知错误:对于webserver无法启动服务webserver: apache_airflow_scheduler_1

浏览 6提问于2021-09-11得票数 2

1回答

如何访问坞-组合CLI

airflow

我用船坞组合安装了气流。我想要创建用户管理的网络用户界面上的认证气流。我如何去CLI创建它呢？

浏览 1提问于2021-11-10得票数 0

回答已采纳

点击加载更多