我正在尝试为DAG编写脚本。我已经运行了docker-airflow,并且通过localhost在浏览器上运行良好。但是,每当我尝试在vscode中打开一个dag文件时,它都会显示导入错误。 我已经安装和设置气流使用docker和激活docker使用芹菜执行器。 Docker Container for airflow正在运行。 from airflow import DAG
from airflow.operators.bash_operator import BashOperator ?
我按照说明初始化breeze环境:
镜像似乎已经构建好了,但是在我的环境中start.Something失败了?
docker 20.10.9的好版本。Python版本: 3.8
后台: mysql
不需要重新构建镜像:没有更改任何重要文件
Use CI image.
Branch name: main
Docker image: ghcr.io/apache/airflow/main/ci
我使用CLI创建了一个自定义包(使用Click构建)。这个包可以做两件事:运行预处理和运行机器学习模型。我创建了此客户包的Docker镜像,并将其推送到AWS (ECR)上的私有注册表。 现在我想用Airflow运行这个容器,我想在一个EC2实例上运行它。我正在用docker-compose运行它。 在本例中,我将只关注一项任务:运行容器进行预处理。 然而,现在我得到了‘上游失败’的t2。 from datetime import timedelta
import airflow
from airflow import DAG
from airflow.operators.bash_oper
我有一个简单的示例python脚本,我希望Airflow在计划的基础上运行。我可以为Airflow创建容器,并在该容器中成功安装Docker服务器。我可以手动访问CLI并"docker run“示例的容器,它就可以工作了。当我从本地主机管理员尝试它时,它只显示“运行”永远。在CLI中检查"docker ps“显示它还没有启动容器。我确信我错过了一些简单的东西,因为这里没有太多复杂的东西。请帮帮忙!?
以下是python脚本:
import time as ti
def main():
print('TEST')
ti.sleep(120)
我正在尝试将我们的气流升级到1.10.0。当我这样做时,我会收到一个错误,抱怨它无法连接到mysql:
worker_1 | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Backgrou
使用的docker-compose.yml并运行docker-compose up,我可以毫无问题地运行Airflow (Ubuntu)。但这仅在父文件夹名为/airflow的情况下有效。如果将其命名为其他名称,则airflow-init服务将失败:
ERROR: for airflow-init Container "f28089f55f79" is unhealthy.
ERROR: Encountered errors while bringing up the project.
当我的项目位于不同的文件夹中时,我希望能够使用docker-compose up运行Air
我有两个模块,它们可以很好地构建和部署。但它们都有共享的代码,我想把它们拉到一个单独的“共享”项目中。这些模块都有一个对共享项目的引用,似乎一切正常。
但是当我想要构建docker镜像时,我会得到这样的跟踪:
PROCESSING DOCKER FILE: ./Dockerfile
PUBLISHING MODULE: modules/Valid.PrivacyCrawler.Crawlers
Microsoft (R) Build Engine version 15.5.179.9764 for .NET Core
Copyright (C) Microsoft Co