我在本地mac上安装了气流2.0,支持PostgresSQL for sql_alchemy_conn。我的DAG运行良好+维护sqla数据库中的元数据,但是任何气流用户都会在未创建角色表/视图的情况下命令错误。
我尝试过设置和重置气流重置数据库,但是这些表在sql_alchemy_conn DB中仍然不可用。
psycopg2.ProgrammingError: relation "ab_permission_view_role" does not exist
LINE 2: FROM ab_permission_view_role JOIN ab_permission_vi
我遇到了airflow ( v1.9.0dev0+apache.incubating )的问题,在调度程序获得作业之前,一切看起来都很正常,日志如下:
[2017-03-15 15:54:18,075] {jobs.py:1329} INFO - Waiting up to 5s for processes to exit... Traceback (most recent call last): File "/usr/local/bin/airflow", line 4, in <module>
__import__('pkg_resource
我正在尝试执行一个数据流python文件,该文件使用DataFlowPythonOperator从GCS桶中读取文本文件。我能够独立地执行python文件,但是当我通过气流执行它时,它失败了。我使用一个服务帐户来验证我的默认gcp连接。执行作业时遇到的错误是:
{gcp_dataflow_hook.py:108} INFO - Start waiting for DataFlow process to complete.
{models.py:1417} ERROR - DataFlow failed with return code 2
Traceback (most recent call
根据的说法,我尝试了以下几种方法
# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb
# start the web server, default
我正在使用apache airflow和BashOperator。每个BashOperator执行一个python脚本。例如:
from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
with DAG(dag_id='dag_example', default_args=None,
schedule_interval='0 2 */2 * *',
catchup=False) as dag:
我是新来的气流公司,我正尝试在本地安装,按照下面链接上的说明:
我正在运行以下代码(如链接中提到的):
# Airflow needs a home. `~/airflow` is the default, but you can put it
# somewhere else if you prefer (optional)
export AIRFLOW_HOME=~/airflow
# Install Airflow using the constraints file
AIRFLOW_VERSION=2.2.5
PYTHON_VERSION="$(python --versio
我的Mac机器上都安装了python2.7和3.7。我在.bash_profile文件中使用以下命令设置了python3默认值
alias python=python3
alias pip=pip3
当我点击下面的命令时
pip install apache-airflow
上面写着
Requirement already satisfied: apache-airflow in /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages (1.10.3)
但是当我点击"airflow ve
我正在尝试使用容器CentOS7运行Apache Airflow。我正在使用Python 3.6.9运行。我已经使用pip安装了apache airflow,但是当我尝试使用airflow initdb设置数据库时,我得到了以下错误:
(app-root) sh-4.2$ airflow version
Traceback (most recent call last):
File "/opt/app-root/bin/airflow", line 5, in <module>
from airflow.__main__ import main
Fi
我有一个pyspark脚本,它现在工作得很好,我想做的是,我想为每一分钟安排该作业,为此,我使用了Apache Airflow,我为airflow创建了一个.py文件,如下所示: from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
import os
from builtins import range
import airflow
from airflow.models import DAG
from
我有一个气流调度程序和气流网络服务器部署在EC2机器上的AWS.我使用这个气流调度程序来执行带有AwsBatchOperator任务的DAG。此任务执行EC2机器上出现的python脚本。以下是DAG的代码:
from datetime import timedelta
from airflow import DAG
from airflow.utils.dates import days_ago
from airflow.providers.amazon.aws.operators.batch import AwsBatchOperator
default_args = {
我正在本地机器上的一个码头集装箱中运行气流。我正在运行一个测试DAG,执行3项任务。然而,这三个任务运行良好,但bash操作符的最后一个任务被卡在循环中,如下面的图片所示。在日志文件中,只为bash脚本的第一次执行生成一个条目,然后什么也不生成,但是python文件一直被执行。对于这个问题有什么建议吗?
谢谢,
理查德
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.bash impo