尝试为MySQL设置Airflow,但在"airflow initdb“期间,Airflow尝试设置主键时出现错误。
File "/usr/lib/pymodules/python2.7/MySQLdb/cursors.py", line 166, in execute
self.errorhandler(self, exc, value)
File "/usr/lib/pymodules/python2.7/MySQLdb/connections.py", line 35, in defaulterrorhandler
raise errorclass
最近,我们在设置中遇到了许多与气流数据库相关的问题。一种是当遇到死锁时(两个查询试图获取task_instance表上的索引)&另一种是当日志显示来自气流侧的“打开的连接太多”时。我们使用的是芹菜executor,它的后台也和airflow后台一样。目前我们只有一个DAG,大约有30-40个并行任务,SubDAG大约有3-4层嵌套。这些任务中的大多数都是轻量级的,它们发出一个异步微服务调用并等待它完成(作为传感器)。我们可能有大约15-20个这样的DAG同时运行。我们的数据库实例是t3.media。airflow.cfg文件:
[core]
# The folder where you
我试图设置Postgres作为后端数据库为我的气流安装。
我遵循了的建议。特别是,我为Postgres中的气流创建了一个特定的用户,这是一个特定的新表,并将所有权限授予用户。我执行了类似于建议的命令:
CREATE DATABASE airflow_db;
CREATE USER airflow_user WITH PASSWORD 'airflow_pass';
GRANT ALL PRIVILEGES ON DATABASE airflow_db TO airflow_user;
另外,我在sql_alchemy_conn中编辑了airflow.cfg字符串。
现在,当我运
我在本地mac上安装了气流2.0,支持PostgresSQL for sql_alchemy_conn。我的DAG运行良好+维护sqla数据库中的元数据,但是任何气流用户都会在未创建角色表/视图的情况下命令错误。
我尝试过设置和重置气流重置数据库,但是这些表在sql_alchemy_conn DB中仍然不可用。
psycopg2.ProgrammingError: relation "ab_permission_view_role" does not exist
LINE 2: FROM ab_permission_view_role JOIN ab_permission_vi
我正在尝试通过airflow任务上的SSHHook进行ssh_conn_id连接,但由于sftp连接失败。在气流日志中,我收到一条错误消息: socket.gaierror: [Errno -2] Name or service not known 我尝试使用以下命令在终端外壳中创建一个SSHHook对象: SSHHook(ssh_conn_id=<airflow_connection_name>, remote_host=<host>,
username=<username>, password=<password>) 我得
我试图在堡垒主机后面的AWS EC2 postgres实例中编写测试查询的简单测试数据。
在用touch pg_test.py和nano pg_test.py在气流中添加此脚本之后
from airflow import DAG
from airflow.operators.postgres_operator import PostgresOperator
from datetime import datetime
Query = """DROP TABLE IF EXISTS dataset.test;
create TABLE dataset.test as (
我们最近开始看到airflow-webserver停止响应。在运行systemctl status airflow-webserver时,该服务似乎仍在运行,但日志中充满了错误,并且wb服务没有响应。中的错误
Sep 14 06:56:45 semaf1-dk1.mid.dom airflow[1833]: [2020-09-14 06:56:45,662] {{cli.py:990}} ERROR - [0 / 0] Some workers seem to have died and gunicorn did not restart them as expected
Sep 14 06:5
当我单击活动DAG的DAG名称或显示树状视图或图形视图时,出现以下错误: UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "/home/airflowenv/airflow1/lib64/python3.6
我试图在气流中运行一个DAG,将数据集摄取到google云存储中。这是DAG脚本:
import os
from airflow import DAG
from airflow.utils.dates import days_ago
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator
from google.cloud import storage
from airflow.providers.google.cloud.operators.bi
我正在码头容器中运行Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production。
我创建了一个具有created和created系统特权的用户。用户也有无限的配额。
CREATE USER airflow IDENTIFIED BY pass;
GRANT CREATE SESSION TO airflow;
GRANT CREATE TABLE TO airflow;
ALTER USER airflow QUOTA UNLIMITED ON USERS;
使用该用户,我尝试使用以下查询创建一个私有临时表:
C
Airflow在部署后无法启动,错误报告为无法解析postgres属性AttributeError: module 'sqlalchemy.dialects.postgresql' has no attribute 'MONEY'。
Dockerfile将耦合的依赖项安装为完整堆栈的apache-airflow[async,postgres,celery,rabbitmq,crypto]==1.10。
File "/usr/local/bin/airflow", line 22, in <module>
from airf
我将气流进程示例example_branch_dop_operator_v3代码复制到我自己的dag test1_v2中,我可以成功地运行example_branch_dop_operator_v3,但是运行test1_v2失败了。dag test1_v2代码(气流_HOME/dags/test1.py):
import airflow
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator
from
我的命令是
pip install apache-airflow
成功安装了气流,但我无法从气流中导入airflow.operators.print_text_old。
错误消息说:
ModuleNotFoundError:没有名为“airflow.operators.print_text_old”的模块
from datetime import timedelta
from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.date
我正在使用气流2.0,并已通过requirements.txt在MWAA中安装了松弛模块。我已经安装了所有下面的软件包,但是它仍然说没有找到软件包。
ModuleNotFoundError: No module named 'airflow.providers.slack'.
但它仍然给我一个错误说模块找不到。该怎么办?
请在此找到要求:
alembic
anyio
apache-airflow-backport-providers-amazon
apache-airflow-providers-amazon
apache-airflow-providers-ftp
apa
我对气流比较陌生,我经常听到警告说
DeprecationWarning: Importing 'MsSqlHook' directly from 'airflow.hooks' has been deprecated. Please import from 'airflow.hooks.[operator_module]' instead. Support for direct imports will be dropped entirely in Airflow 2.0.
有人能告诉我我在这里做错了什么吗?会有什么改变吗?我通常使用钩子将我的
在运行DAG时,我会得到上面的错误。
psycopg2.ProgrammingError: can't adapt type 'PythonOperator'
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "/home/airflow/.local/lib/python3.6/site-packages/airflow/models/taskinstance.py", line
我正在尝试安装气流2.0.1与ansible在CentOS8机器上。Python版本3.8.1。我按照气流文档中的建议做了pip 20.2.4。
我正在使用postgresql和airflow db check是成功的。但是db init任务会出现以下错误。我手动尝试了airflow db init,但是结果是一样的:
ERROR - Failed to add operation for GET /api/v1/connections
Traceback (most recent call last):
File "/opt/airflow/lib/python3.8/site