运行在Docker容器中的Airflow可以访问本地文件吗？
Airflow是一个开源的任务调度和工作流管理平台，可以帮助用户在云计算环境中管理和调度任务。而Docker是一种容器化技术，可以将应用程序及其依赖项打包成一个独立的容器，实现跨平台和快速部署。
运行在Docker容器中的Airflow默认情况下是无法直接访问本地文件的。这是因为Docker容器提供了一种隔离的环境，使得容器内部的应用程序无法直接访问宿主机的文件系统。
然而，可以通过一些技术手段来实现Docker容器中的Airflow访问本地文件。以下是一些常用的方法：
- 挂载本地目录：可以通过在运行Docker容器时使用
-v参数来将本地目录挂载到容器内部。这样，容器内的Airflow就可以访问挂载的本地目录中的文件。例如： - 挂载本地目录：可以通过在运行Docker容器时使用
-v参数来将本地目录挂载到容器内部。这样，容器内的Airflow就可以访问挂载的本地目录中的文件。例如： - 这里的
/path/to/local/directory是本地目录的路径，/path/to/container/directory是容器内部的目录路径。 - 使用共享卷：一些云计算平台（如腾讯云的云硬盘）提供了共享卷的功能，可以将共享卷挂载到Docker容器中。这样，多个容器之间可以共享同一个卷，从而实现文件的共享和访问。
- 使用网络共享：可以通过搭建网络共享服务（如NFS、Samba等）来实现Docker容器中的Airflow访问本地文件。首先，在宿主机上搭建网络共享服务，然后在容器内部挂载共享目录，使得容器内的Airflow可以通过网络访问本地文件。
需要注意的是，为了确保安全性和可靠性，建议在使用这些方法时，仔细设置访问权限和网络配置，以防止未经授权的访问和数据泄露。
腾讯云提供了一系列与容器相关的产品和服务，如腾讯云容器服务（Tencent Kubernetes Engine，TKE）、腾讯云容器镜像服务（Tencent Container Registry，TCR）等，可以帮助用户更方便地管理和部署容器化应用。您可以访问腾讯云官网了解更多相关信息：腾讯云容器服务、腾讯云容器镜像服务。
相关·内容
就Airflow和Docker而言，我是一个新手；更复杂的是，我使用Astronomer，更糟糕的是，我在Windows上运行Airflow。(不在Unix子系统上-无法在Ubuntu 20.4上安装Docker )。"astro dev start“由于错误而中断，但在Docker Desktop中，我看到并可以启动3个与气流相关的容器。它们可以很好地看到我的DAG，但我的DAG看不到本地文件系统。因此，Airflow + Docker组合是不可避免的吗？(这似乎是一个很大的障碍；一个人只能使用云中的文件)。
浏览 44提问于2021-05-18得票数 0
回答已采纳
我将postgres作为独立的服务运行在远程实例(gcp)上的独立码头容器中-参见下面的docker撰写文件。
Postgres实际上正在工作--如果我通过容器访问它，我可以在其中连接并执行操作(创建db，用户.)。
但是，当我试图通过dbeaver连接到postgres时，总是会得到一个连接尝试超时的错误。
在这里，我的dbeaver配置: Host: 172.17.0.1端口: 5432 DB -用户名-密码: postgres (如在坞撰写文件中定义的那样)
在gcp中建立了防火墙规则。
version: '3.7'
services:
postgres:
浏览 1提问于2021-11-10得票数 0
我对气流很陌生。我能够跟踪一个视频并创建docker-compose yml文件、Dockerfile和一个dag文件。我可以查看我的守护进程并运行它。在我的脚本中，我试图打开一个文本文件(.txt)，但是我得到了以下错误：FileNotFoundError: \[Errno 2\] No such file or directory。
我的文本文件在正确的位置。脚本运行在本地python环境上。我不知道当我在气流中运行时，它为什么会显示为一个错误。
我的docker-compose.yml、Dockerfile和dag文件如下所示。任何帮助我都会感激！谢谢!
docker-compose.y
浏览 2提问于2022-03-30得票数 0
我有一个包含2个服务的docker组合文件: apache airflow服务和用于airflow的postgres服务。
我有一个postgres数据库在本地的5555端口上运行。我如何连接我的docker编写文件到我的本地数据库？
我修剪后的合成文件如下所示：
version: 3
services:
postgres:
ports:
- "5432:5432"
webserver:
environment:
- db_uri=path.localhost:5555/db_name
ports:
- &#
浏览 1提问于2020-02-10得票数 1
我想在本地挂载远程目录的数据。
docker run -d -it --name redis \
--mount src=airflow-dags,target=/app/dags,type=volume,volume-driver=vieux/sshfs \
-p 6379:6379 \
redis
这是我的船坞-合成人。
version: '3'
x-airflow-common:
&airflow-common
image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.3}
# build: .
env
浏览 19提问于2022-08-18得票数 0
问题定义
我试图在同一台主机上使用两个docker-compose.yml文件(每个文件位于不同的目录中)，一个用于气流，另一个用于另一个应用程序。我已经将气流的容器与我的另一个应用程序(见下面的组合文件)放在同一个命名的网络中，并确认使用docker网络检查气流容器是否在网络中。但是，当我从气流工作器容器( my_keycloak服务器)中卷曲时，我会得到以下错误：
误差
未能连接到本地主机端口9080:连接被拒绝
文件
Airflow docker-compose.yml
version: '3'
x-airflow-common:
&airflow-c
浏览 1提问于2021-06-30得票数 0
回答已采纳
我希望在Windows上使用Docker运行Apache气流，以试验运行任务。
我是Docker的新手，到目前为止，我已经(1)启动了一个运行在Docker上的气流实例，(2)在本地创建了一个DAG脚本。
我想要做的是将这个DAG脚本移动到容器中某个位置的"dags“文件夹中--我读到目录是在airflow.cfg中指定的，但是还不能用nano/vim读取它。
(1)我是否必须自己创建“dags”文件夹？(2)如何将本地脚本复制到dags文件夹？
浏览 1提问于2022-11-23得票数 0
1回答
我从一个名为puckel/ docker -airflow的docker镜像运行airflow。当我使用以下docker命令启动容器时，我将我的本地dags文件夹与容器airflow文件夹同步： docker run -d -p 8080:8080 -v <local_path>:/usr/local/airflow/dags puckel/docker-airflow webserver 在我的DAG上，我有一个调用名为start_script的函数的PythonOperator，这个函数基本上是读取和初始化文件来提取一些信息(例如密码)。函数如下： def start_scr
浏览 90提问于2021-01-16得票数 2
回答已采纳
我正在使用docker swarm在GCE中运行docker airflow。奇怪的是，即使我使用root用户部署了airflow集群，airflow进程的所有者也不是root，而是节点中的某个随机用户。
当我在本地机器上运行docker时，进程是以root启动的。
在GCE上选择用户有什么规则吗？有谁知道为什么会发生这种事吗？
浏览 0提问于2018-05-11得票数 0
我已经用docker-compose设置了气流，如下所述。https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 还有一个必须执行docker命令的气流任务，比如 BashOperator(
task_id='my',
bash_command="""
docker run ..............
""",
dag=dag,
) 这意味着Docker包需要in the airflow do
浏览 27提问于2021-04-15得票数 0
2回答
我在码头使用气流和PostgreSQL。
因此，我在端口5433上建立了一个PostgreSQL数据库。集装箱(384 Ea7b6efb)。这是我有我的数据，我想拿我的dag在气流中。
码头工人ps
CONTAINER ID IMAGE COMMAND CREATED STATUS
PORTS NAMES
384eaa7b6efb postgres "docker-entrypoint.s…
浏览 2提问于2021-10-17得票数 1
回答已采纳
1回答
我需要连接到Postgres服务器实例，该实例是作为SystemD服务从docker-复合文件中运行的。
docker-compose containers ---> postgres as systemd
这是关于在localhost上设置外部Postgres的气流。
我以docker-compose为例，其中包括：
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.3/docker-compose.yaml'
然而，在那里，他们正在定义一个Postgres容器，其中气流通过解析码头网络中的pos
浏览 14提问于2022-02-02得票数 0
回答已采纳
我已经开始学习/尝试Airflow了。作为我研究的一部分，我已经通过Docker在我的本地安装了气流。我引用了官方页面
我正在寻找一个(标准)流程，当我可以将Airflow部署到Azure时。
我可以直接使用相同的docker-compose文件吗？
任何帮助都将不胜感激。
浏览 32提问于2021-09-07得票数 0
我用本教程在本地Mac气流上安装了docker：，一切都很好。我有用户界面，我可以连接我的伙伴。
但是，当我手动触发我的任务时，它没有运行，并得到以下错误消息：
。
我在网络UI上的任务：
。
我在Mac上工作，我使用了以下代码：
docker pull puckel/docker-airflow
docker run -d -p 8080:8080 -v /path/to/dags:/usr/local/airflow/dags puckel/docker-airflow webserver
有人知道我怎么解决这个问题吗？谢谢你的帮忙
浏览 0提问于2019-07-03得票数 0
回答已采纳
针对Apache Airflow / Docker用户的问题。我有一个Docker airflow镜像，我正在尝试使用一个简单的SequentialExecutor /SQLite元数据数据库，但我想在每次运行新容器时持久化元数据数据库。我想通过挂载到本地机器上的一个驱动器来实现这一点，这样initdb就可以在AIRFLOW_HOME以外的地方初始化数据库。这是可能的/可配置的吗?或者有人有更好的解决方案吗？ 基本上，所需的状态是： AIRFLOW_HOME: contains airflow.cfg, dags, scripts, logs whatever
some_other_dir
浏览 6提问于2020-12-15得票数 0
2回答
正如标题所述，我想要设置在集群上运行的气流(1个主节点，2个节点)，使用Docker群。
当前设置：
现在我有一个气流设置，它使用运行在单个CeleryExecutor上的EC2。我有一个Dockerfile拉气流的形象和pip install -r requirements.txt。从这个Dockerfile中，我创建了一个本地映像，这个映像被用于docker-compose.yml，它扩展了不同的服务气流需求(webserver、调度程序、redis、From和一些工作人员)。元数据是一个独立的RDS上的Postgres )。对接组合在对接群模式中得到了应用。docker stack de
浏览 2提问于2021-11-26得票数 2
回答已采纳
我在本地创建了一个容器。然后，我运行以下命令： docker ps -a 输出为： ONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
abc6f4d50931 airflow "/bin/zsh" 17 hours ago Exited (137) 21 minutes ago xenodochial_mclaren 然后我尝试使用以下命令运行容器，它创建了一个具有相同镜像但不同容器ID的新容
浏览 28提问于2021-07-30得票数 0
回答已采纳
我已经使用docker工具箱在Windows 8 64位上安装了puckel-airflow图像。
我已经在本地创建了一个hello world Python scrpit ie，dag。
现在我想把我的Python scrpit从本地机器转移到docker工具箱的气流镜像，这样我就可以运行带有特定标签的气流镜像了。
无法找到正确的步骤，以便从本地c驱动器复制到dockertool box气流图像。
注意:在dockertool box中使用airflow bash，我已经创建了一个dags文件夹，它会将所有脚本放到那个特定的文件夹中，这样我就可以运行airflow python dags了。
浏览 11提问于2021-02-08得票数 0
1回答
我目前正在使用docker-compose up来运行我从docker得到的apache airflow镜像。但是，当我尝试运行我的pythonOperator(包含其他库的python脚本)时，在构建airflow时出现错误。 我的docker-compose.yml： version: '3'
services:
postgres:
image: postgres:9.6
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGR
浏览 10提问于2020-09-09得票数 2
回答已采纳
我正在尝试将apache airflow作为一个docker运行在Centos 7机器上。我遵循了这里的所有指令：当我试图通过运行docker-compose up airflow-init来初始化docker时
我得到了这个错误
[root@centos7 centos]# docker-compose up airflow-init
Creating network "centos_default" with the default driver
Creating volume "centos_postgres-db-volume" with default
浏览 0提问于2021-03-25得票数 2
3回答
我有一个在EC2实例上运行的airflow，并且我正在安排一些任务来启动一个码头容器。我该怎么做？我需要在我的气流容器上安装docker吗？以及下一步是什么。我有一个用来启动容器的yaml文件，它派生自puckel/airflow Docker镜像
浏览 2提问于2017-04-13得票数 10
我是码头+气流公司的新手。下面是我正在努力实现的目标。
我有4个服务，如下面的撰写文件所示。3是与气流相关的，一个是Ubuntu的测试实例。与气流相关的容器：airflow-database、airflow-webserver、airflow-scheduler能够相互通信，我能够运行示例DAG。现在，我添加了第四个服务(ubuntu)，我试图使用DockerOperator从DAG发送一个简单的命令“/bin/休眠10”(下面是DAG文件)。但出于某种原因，我得到了拒绝许可的消息(还附加了DAG错误文件)。
它的工作，如果我运行气流从本地主机，而不是从一个码头集装箱内，无法确定我错过了什么。
浏览 8提问于2021-01-09得票数 6
我有一个运行中的Apache AirFlow，它是从docker编写开始的。此外，我有一个码头-撰写项目，我想管理与AirFlow。
示例_workers/docker-Compose.yml：
version: '3'
services:
my_app:
build:
context: ./my_app/
environment:
TEST: 1
INDOCKER: 1
restart: "no"
volumes:
- ./my_app:/my_app
depend
浏览 18提问于2022-05-19得票数 0
1回答
我对码头卷的理解是，它是我的本地机器上的一些存储器，在我的本地机器上运行的不同的码头容器也可以访问。
我使用了docker-compose.yml来创建运行postgres数据库的docker容器。我将卷路径指定为'postgres:/var/lib/postgresql/data‘。然而，这似乎是一条Linux路径。我假设Linux是运行在我的容器中的操作系统，不知何故，docker知道在哪里查找我的Windows机器上的实际数据。有人能告诉我这个卷文件的Windows路径是什么吗？
我已将卷名指定为“postgres”。但是，当我使用'docker卷ls‘列出本地计算机上的
浏览 10提问于2022-11-19得票数 0
回答已采纳
我目前有一个运行在docker-compose上的Airflow实例。将来，我将迁移到kubernetes集群。因此，气流将始终在码头容器中运行。 也就是说，当气流本身在码头容器内时，我如何运行DockerOperator？ 这是一个docker-in-docker初始问题，我不完全理解如何缓解。 谢谢!
浏览 30提问于2021-07-15得票数 0
问题
如何自动将所有DAG文件移动到气流码头()，而不仅仅是将最新添加的文件移动并将其重命名为
我试过的指南
1.
码头运行-d -p 8080:8080 -v -v puckel/ docker -airflow webserver
这是我的实际本地路径:/usr/local/airflow/dagsIs -> :/usr/local/airflow/dags？是一个标准的parth 这是the服务器的容器名还是内部路由puckel/docker-airflow webserver？码头运行-d -p 8080:8080 -v -v
2.
我不能把这个放到配置文件中，因为我使用的是坞
浏览 7提问于2022-09-23得票数 0
回答已采纳
情况如下:我已经成功地在本地开发了一个超级简单的ETL进程，它从某个远程位置提取数据，然后将未处理的数据写入本地Windows机器上的MongoDB容器中。现在，我想对每个任务使用Apache气流来调度这个过程，也就是说，我想要为我的源代码创建一个码头映像，然后使用DockerOperator执行该映像中的源代码。因为我在Windows机器上工作，所以我只能使用来自码头容器内的气流来触发气流DAG。气流容器(下面称为webserver )和Mongo容器(称为mongo )都是在docker-compose.yml文件中指定的，您可以在后面看到。
据我所知，每次触发简单的ETL并执行Docke
浏览 8提问于2020-01-17得票数 1
回答已采纳
我想将DAG文件添加到Airflow中，它在Ubuntu上的Docker中运行。我使用了以下，其中包含配置和到docker镜像的链接。当我运行docker run -d -p 8080:8080 puckel/docker-airflow webserver时，一切都正常工作。但我找不到一种方法来安全地将DAG添加到气流中。或者，我运行了docker run -d -p 8080:8080 puckel/docker-airflow webserver -v /root/dags:/usr/local/airflow/dags，也没有成功。
我尝试编辑/config/airflow.cfg并将
浏览 3提问于2018-09-17得票数 10
1回答
我在码头上安装了气流。我想知道如何改变从码头到我的本地系统的气流回家路径。
例:气流之家(现在)：/usr/local/airflow想要改为：mysystempath
docker run -d -p 8080:8080 -v /path/to/dags/on/your/local/machine/:/usr/local/airflow/dags puckel/docker-airflow webserver
以上试验不起作用：
错误消息-：守护进程的错误响应:驱动程序在端点gallant_pasteur上的外部连接失败，gallant_pasteur绑定为0.0.0.0:8080失败:端
浏览 5提问于2019-09-27得票数 1
回答已采纳
我对Docker和Airflow都缺乏经验，所以这可能是一个愚蠢的问题。我有一个Dockerfile文件，它将apache/airflow映像与我自己的一些DAG一起使用。我想启动airflow web服务器和计划程序，但我在这方面遇到了问题。我可以让它工作，但我觉得我处理得不正确。
下面是我的Dockerfile的样子：
FROM apache/airflow
COPY airflow/dags/ /opt/airflow/dags/
RUN airflow initdb
然后我运行docker build -t learning/airflow .。下面是最困难的部分:然后我运行docke
浏览 7提问于2020-06-20得票数 3
2回答
我是码头新手，我试着按照指令在本地运行码头映像
我通过docker pull puckel/docker-airflow提取图像，然后准备.yml文件和run docker-compose up -d，但始终显示错误：
Error response from daemon: readlink /var/lib/docker/overlay2/: invalid argument
不知道哪一部分不见了。
浏览 26提问于2022-04-24得票数 1
回答已采纳
2回答
我正在尝试为DAG编写脚本。我已经运行了docker-airflow，并且通过localhost在浏览器上运行良好。但是，每当我尝试在vscode中打开一个dag文件时，它都会显示导入错误。 我已经安装和设置气流使用docker和激活docker使用芹菜执行器。 Docker Container for airflow正在运行。 from airflow import DAG
from airflow.operators.bash_operator import BashOperator ?
浏览 21提问于2020-04-05得票数 1
回答已采纳
我正在尝试运行一个简单的python脚本中的一个码头运行命令调度与气流。
我遵循了这里的说明，。
我的.env文件：
AIRFLOW_UID=1000
AIRFLOW_GID=0
而docker-compose.yaml是基于默认的。我必须添加- /var/run/docker.sock:/var/run/docker.sock作为一个额外的卷来运行码头内的码头。
我的守护进程配置如下：
""" this is an example dag """
from datetime import timedelta
from airflow impo
浏览 5提问于2021-08-03得票数 1
回答已采纳
我正在尝试获得一个docker-compose文件，既可以处理气流也可以处理火花。Airflow通常在8080:8080上运行，这也是spark需要的。我有以下docker-compose文件： version: '3.7'
services:
master:
image: gettyimages/spark
command: bin/spark-class org.apache.spark.deploy.master.Master -h master
hostname: master
environment:
浏览 43提问于2020-10-23得票数 1
回答已采纳
你好，我在两个sperate docker容器之间的通信有问题。一个是flask应用程序，它在端口5000上运行(端口暴露给本地，从本地主机我可以通过http://localhost:5000/api访问这个flask应用程序)，但是还有另一个react应用程序停靠容器运行在端口3000上。问题是我需要访问flask api，每当我试图从容器内部向http://localhost:5000/api发出请求时，它都不允许我这样做。有什么帮助吗？ 以下是react应用程序版本的docker-compose文件：'3‘ services:
react-cms:
tty:
浏览 121提问于2020-09-20得票数 1
我的气流运行在一个Docker容器中，我希望触发驻留在另一个容器中的python脚本。我试过普通的bash接线员，但那似乎只适用于本地。还查看了Docker操作符，但那个操作符似乎想创建一个新容器。
浏览 1提问于2022-07-06得票数 0
回答已采纳
我有一个码头组合文件，它按如下所示展开本地气流实例：
version: '3.7'
services:
postgres:
image: postgres:9.6
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
logging:
options:
max-size: 10m
浏览 1提问于2021-11-22得票数 1
回答已采纳
我正在开发一个使用DockerOperator与Apache Airflow一起调度和编排的ETL流程。我在一台Windows笔记本电脑上工作，所以我只能从docker容器内部运行Apache Airflow。我可以在我的项目根目录下，使用下面docker-compose.yml文件中指定的卷，在我的windows笔记本电脑上安装一个包含配置文件(名为configs )的文件夹到气流容器(名为webserver )中。docker-compose.yml文件中的相关代码如下所示：
version: '2.1'
webserver:
build: ./do
浏览 3提问于2020-01-29得票数 1
我已经成功地在本地开发了一个超级简单的ETL进程(下面称为load_staging )，它从某个远程位置提取数据，然后将未处理的数据写入本地MongoDB机器上的一个MongoDB容器中。现在，我想对每个任务使用Apache气流来调度这个过程，也就是说，我想要为我的源代码创建一个码头映像，然后使用DockerOperator执行该映像中的源代码。由于我是在一个窗口机器工作，我只能使用气流从码头集装箱内。
我已经使用MongoDB启动了气流容器(下面称为webserver )和docker-compose up容器(称为mongo )，并且在气流的GUI中手动触发了DAG。根据气流，任务正在成功
浏览 9提问于2020-01-20得票数 3
2回答
我的目标是读取文件从hdfs在气流和做进一步的操作。
经过研究，我发现我需要使用的网址如下：
df = pd.read_parquet('http://localhost:9870/webhdfs/v1/hadoop_files/sample_2022_01.parquet?op=OPEN')，
localhost/172.20.80.1/computer-name.mshome.net可以互换使用的地方，
9870 - namenode端口，
hadoop_files/sample_2022_01.parquet -我在根目录中创建的文件夹和文件。
我可以在本地访问和读取文件
浏览 8提问于2022-06-12得票数 0
我正在将本地Ubuntu机器的Promtheus & Grafana设置为docker容器，
我的脚步是：
running prometheus：docker run -t -d -p 9090:9090 prom/prometheusrunning Grafana：docker run -t -d --name grafana -p 3000:3000 grafana/grafana
如您所见，prometheus运行在映射的9090端口上，在3000上运行的grafana也是如此。
现在，当在grafana dashborad中为prometheus配置prometheus时，我需
浏览 4提问于2019-11-26得票数 0
回答已采纳
我有一个运行在Docker中的服务，它监听Unix域套接字，还有一个客户端运行在Docker主机( Mac)上。客户端将得到试图连接的“拒绝连接”错误。
当我运行服务器(docker运行-it -v /localpath:/var/运行myservice)时，我正在映射卷，并且我看到在本地dir中创建的套接字文件很好。
如果我也在Docker (不同的容器实例)中运行客户机，或者在本地运行这两种情况，那么它可以正常工作。但是，如果我在Docker中运行一边，而在本地运行另一边，它就失败了(我已经尝试了两个方向)。我认为这可能是一个uid/gid不匹配，但这看起来还可以，如果我强迫他们不同，我会
浏览 0提问于2021-04-09得票数 1
回答已采纳
是否可以通过在docker容器中运行命令将文件复制到本地计算机。但是，我知道docker cp <containerId>:container/file/path /host/file/path，我的理解是，这必须从码头容器外部运行。有没有办法做这件事或类似的事情从内部？
对于某些上下文，我有一个python脚本，它运行在docker容器中，具有如下命令docker run -ti -rm --net=host buildServer:5000/myProgram /myProgram.py -h。我想检索从这个程序生成的文件，以便它们可以被编辑。我可以以分离模式运行码头容器，do
浏览 3提问于2016-08-09得票数 1
回答已采纳
1回答
我的本地机器(Mac)上运行着一个码头集装箱。我有另一个在本地主机上收听的程序。如何使运行在docker容器中的代码连接到此进程？
浏览 0提问于2017-04-25得票数 0
回答已采纳
我们正在从空气流量1.x移到2.0.2，运行docker-compose run --rm webserver initdb后，我注意到我的终端出现了以下错误
{{manager.py:727}警告-尚未创建用户，请使用烧瓶fab命令进行此操作。
但是在我的entrypoint.sh中，我有以下内容来创建用户：
echo "Creating airflow user: ${AIRFLOW_CREATE_USER_USER_NAME}..."
su -c "airflow users create -r ${AIRFLOW_CREATE_USER_ROLE} -u
浏览 1提问于2021-05-18得票数 2
我现在有一个带有python映像的Docker容器，我在这里运行cron作业。我使用一个坞编写文件来运行它，在这里，我将令牌从主机(我的Macbook)作为环境变量传递给容器。
version: '3.8'
services:
backend:
container_name: py-cont
build: .
environment:
GOOGLE_ADS_TOKEN: ${GOOGLE_ADS_TOKEN}
我想将cron作业迁移到AirFlow (使用中的停靠-组合文件运行)，在这里我想使用DockerOperator，但是我不知道如
浏览 4提问于2022-08-08得票数 1
回答已采纳
我有一个docker-compose文件，如下所示： version: '3.8'
services:
scheduler:
image: apache/airflow
command: scheduler
restart: on-failure
env_file:
- .env
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
web
浏览 17提问于2020-11-09得票数 2
回答已采纳
我在docker容器中运行airflow，并希望将我的airflow.cfg挂载为卷，这样我就可以快速编辑配置，而无需重新构建图像或直接在运行的容器中进行编辑。我能够将我的airflow.cfg挂载为一个卷，并且我的airflow the服务器在启动时成功地从它读取了配置。但是，当我在主机上进行编辑时，更改不会反映在docker容器中。
停靠容器内的findmnt -M airflow.cfg的输出将返回：
TARGET SOURCE
浏览 0提问于2019-03-26得票数 4
所以我有一个在docker容器中运行的Nginx，我有一个运行在本地主机上的mysql，我想从我的Nginx中连接到MySql。MySql在本地主机上运行，不向外界公开端口，因此它绑定在本地主机上，而不是绑定到机器的ip地址上。 有没有办法从这个docker容器中连接到这个MySql或本地主机上的任何其他程序？ 这个问题不同于“如何从docker容器中获取docker主机的IP地址”，因为docker主机的IP地址可以是网络中的公共IP或私有IP，这些IP可能是也可能无法从docker容器内访问(我指的是托管在AWS或其他地方的公共IP)。即使您拥有docker主机的IP地址，也不意味着您可
浏览 1406提问于2014-06-20得票数 2299
回答已采纳
1回答
这听起来可能很蠢但是..。
我试图在windows机器上运行airflow。我知道airflow不能在windows上工作，所以我想我应该使用docker。
因此，在windows中安装了docker之后，我打开cmd并键入：
docker pull puckel/docker-airflow:1.10.9
docker container run --name airflow-docker -it puckel/docker-airflow:1.10.9 /bin/bash
该图像已经包含python和airflow ( )。
airflow initdb
airflow webserver
浏览 1提问于2020-04-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
