在visual代码中运行气流DAG代码时出错。
误差
ImportError: cannot import name 'DummyOperator' from 'airflow.operators' (c:\Users\10679196\AppData\Local\Programs\Python\Python38\lib\site-packages\airflow\operators\__init__.py)
导入报表
from airflow import DAG
from airflow.operators import DummyOperator
版本
a
我正在设置一个运行Apache Airflow的游戏区。我希望目录/airflow为用户Airflow所拥有,因此是可写的。我的Dockerfile看起来像这样:
FROM salimfadhley/testpython:latest AS base_python
COPY . /project
WORKDIR /project/src
RUN SLUGIFY_USES_TEXT_UNIDECODE=yes python -m pip install -e /project/src
FROM base_python AS application
ENV AIRFLOW_HOME=/airfl
我从他的官方网站下载了气流的docker-compose.yaml,并将其放入我的文件夹中,运行了运行良好的sudo docker compose up airflow-init。当我运行sudo docker compose up来运行服务器并试图访问localhost:8080时,我做不到。这是我运行sudo docker compose up时的日志
WARN[0000] The "AIRFLOW_UID" variable is not set. Defaulting to a blank string.
WARN[0000] The "AIRFLOW_UID
我运行"docker日志风流-init_1“,并得到以下结果,我不知道如何解释。我对气流很陌生。我已经使用"netstat :8080 -ona findstr侦听“来查找正在侦听的任何进程,并且我已经杀死了它们。
/home/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:339: FutureWarning: The auth_backends setting in [api] has had airflow.api.auth.backend.session added in the r
我在本地mac上安装了气流2.0,支持PostgresSQL for sql_alchemy_conn。我的DAG运行良好+维护sqla数据库中的元数据,但是任何气流用户都会在未创建角色表/视图的情况下命令错误。
我尝试过设置和重置气流重置数据库,但是这些表在sql_alchemy_conn DB中仍然不可用。
psycopg2.ProgrammingError: relation "ab_permission_view_role" does not exist
LINE 2: FROM ab_permission_view_role JOIN ab_permission_vi
我在码头使用气流和PostgreSQL。
因此,我在端口5433上建立了一个PostgreSQL数据库。集装箱(384 Ea7b6efb)。这是我有我的数据,我想拿我的dag在气流中。
码头工人ps
CONTAINER ID IMAGE COMMAND CREATED STATUS
PORTS NAMES
384eaa7b6efb postgres "docker-entrypoint.s…
我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件,可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE?
我的docker-compose.yaml文件:
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license a
我正在尝试通过运行以下命令在Ubuntu 18.04上安装Airflow: pip install apache-airflow 我得到了以下错误: OpenID Flask-JWT-Extended sqlalchemy-utils
ERROR: flask 1.1.2 has requirement Werkzeug>=0.15, but you'll have werkzeug 0.14.1 which is incompatible. 如何解决此错误并安装Airflow?
我正在尝试使用容器CentOS7运行Apache Airflow。我正在使用Python 3.6.9运行。我已经使用pip安装了apache airflow,但是当我尝试使用airflow initdb设置数据库时,我得到了以下错误:
(app-root) sh-4.2$ airflow version
Traceback (most recent call last):
File "/opt/app-root/bin/airflow", line 5, in <module>
from airflow.__main__ import main
Fi
我想从Python脚本(实际上是木星笔记本)中调用一个气流DAG定义。
我确保设置了用于airflow命令的环境变量(例如,AIRFLOW_HOME)和python-dotenv,以便在木星笔记本中加载.env文件。此.env文件包含各种环境变量,包括AIRFLOW_HOME。
%load_ext dotenv
# the AIRFLOW_HOME env var must be an absolute file system path
# if the Notebook is relative to where the `airflow.db` Sqlite DB is.
%dotenv
我正在尝试将我们的气流升级到1.10.0。当我这样做时,我会收到一个错误,抱怨它无法连接到mysql:
worker_1 | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Backgrou
我有一个码头-撰写文件,在其中定义的服务气流,火花,postgreSQL和雷迪斯。当我执行对接-撰写和打开气流UI,我尝试添加一个火花连接类型,以便我可以运行火花作业内部气流在码头。但是,正如您可以看到的那样,Spark作为连接类型不可见:
这是我的停靠-撰写文件:
# Feel free to modify this file to suit your needs.
---
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or u
我使用pip命令在ubuntu上部署了Airflow 2.0。已从1.10.13迁移到2.0。但是在db inint之后,我得到了警告。请告诉我为什么会收到这些警告。我试过运行示例dags,它们运行得很成功。
WARNI [airflow.providers_manager] The provider for package 'apache-airflow-providers-http' could not be registered from because providers for that package name have already been registere
我正在尝试安装一个名为Apache Airflow的程序。 这些说明说明了如何指定主文件夹 # airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb ht
我卸载了airflow 1.10.12,并使用python 3.6.9安装了airflow 2。当我在没有自定义DAG的情况下启动When服务器时,我收到警告: [2021-01-12 11:38:58,095] {dagbag.py:440} INFO - Filling up the DagBag from /dev/null
[2021-01-12 11:38:59,049] {providers_manager.py:283} WARNING - Exception when importing 'airflow.providers.google.cloud.hooks.da
我正在尝试使用docker和airflow提供的docker-compose文件在我的机器上设置airflow:https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#docker-compose-yaml CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS