我在EC2上的一个码头集装箱里运行着气流。当我试图访问气流UI中的任务日志时,它将我重定向到localhost,然后我必须用EC2 ip替换localhost来查看日志。这是可行的,但如果我不必每次都更改地址,那就更好了。
我的问题是,我能改变这种行为吗?如果是的话,在哪里?
我在这个网站上搜索了一段时间,但我所能找到的只是日志本身有问题的人,但没有这个重定向问题。我以为我会在airflow.cfg上找到一些东西,但我不知道这是否是正确的地方。
这是我的airflow.cfg,如果需要,我可以发布任何其他文件:
[core]
# The home folder for airflow, def
我试图使用以下LocalExecutor.yml文件运行puckel气流对接器容器:
在失败或重试时,我无法获得气流给我发送电子邮件。
我试过以下几种方法:
用smtp主机名编辑配置文件
[smtp]
# If you want airflow to send emails on retries, failure, and you want to use
# the airflow.utils.email.send_email_smtp function, you have to configure an
# smtp server here
smtp_host = smtp@mycompa
我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件,可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE?
我的docker-compose.yaml文件:
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license a
在apache气流配置中,我试图将顺序执行器更改为芹菜执行器,并在坞-组合文件中使用环境变量:
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed the d
我在试图在气流上显示我的本地DAG时遇到了一些问题。
我用Docker部署气流,但我没有显示本地计算机上的DAG,它只显示在"docker-compose.yaml“文件中设置气流时出现的”标准“DAG。
我的dag/log文件的路径是:C:\Users\taz\Documents\工作区(工作区是我拥有进程和日志文件夹的文件夹)。
这里是“码头-合成人”
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade prov
我已经改变了下面的信任连接气流到mysql数据库。但气流雷达连接到默认的sqlite数据库。请参阅下面的配置,我试图连接到mysql。
1)config of airflow.cfg:
executor = LocalExecutor
sql_alchemy_conn = mysql+pymysql://root:12345678@localhost:3306/airflow
2) pip install PyMySQL (installed pyMysql package)
3)Installed mysql server in ubuntu machine where airflow
不熟悉airflow。尝试运行sql并将结果存储在BigQuery表中。
获取以下错误。不确定在何处设置default_rpoject_id。
请帮帮我。
错误:
Traceback (most recent call last):
File "/usr/local/bin/airflow", line 28, in <module>
args.func(args)
File "/usr/local/lib/python2.7/dist-packages/airflow/bin/cli.py", line 585, in test
我正在尝试安装一个名为Apache Airflow的程序。 这些说明说明了如何指定主文件夹 # airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb ht
运行气流的通常说明不适用于Windows环境:
# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install airflow
# initialize the database
airflow initdb
# start the web server, default
我在GKE上运行一个GCP作曲家集群。我正在定义一个DAG来向dataproc集群提交一个作业。我读过GCP文档,它说Composer的服务帐户将被工作人员用来发送dataproc请求。
但是DataprocSubmitJobOperator报告在获取auth凭据时出错。下面是堆栈跟踪。随附作曲家个人资料。我需要建议来解决这个问题。
[2022-08-23, 16:03:25 UTC] {taskinstance.py:1448} INFO - Exporting the following env vars:
AIRFLOW_CTX_DAG_OWNER=harshit.bapna@dexte
Airflow scheduler正在根据airflow.cfg文件中的设置从正确的文件夹中提取dags。但是,Airflow ui the服务器正在从错误的文件夹中选取dags。我通过查看运行airflow via服务器的终端的stdout实现了这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags
注意,我的airflow.cfg文件有:
# The folder where your airflow pipelines
我在windows 10 WSL上使用气流v2.0 (Ubuntu20.04)。警告信息是:
/home/jainri/.local/lib/python3.8/site-packages/airflow/models/dag.py:1342: PendingDeprecationWarning: The requested task could not be added to the DAG because a task with task_id create_tag_template_field_result is already in the DAG. Starting in Airfl
我无法连接在Server内部的气流使用对接-合成。我想直接从SQL Server获取数据到云存储,然后将数据发送到Big Query。
如何解决这个问题?
import json
from datetime import timedelta, datetime
from airflow import DAG
from airflow.models import Variable
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
from airflow.contrib.operators.bigq
在我从Helm stable/airflow代码库安装的Kubernetes上运行airflow命令时遇到困难。例如,我尝试执行调度器pod并运行airflow list,结果得到以下错误: airflow.exceptions.AirflowConfigException: error: cannot use sqlite with the KubernetesExecutor airlow 好的,我切换到芹菜执行器。 同样的事情 airflow.exceptions.AirflowConfigException: error: cannot use sqlite with the Cel
我试图在corp OpenShift集群上部署Apache气流,但遇到了以下问题:
Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 5, in <module>
from airflow.__main__ import main
ModuleNotFoundError: No module named 'airflow'
我在中发现了类似的问题。这个问题似乎与UID\GID有关。但在中说:
气流图像是开放移位兼容,这意味