如何从其数据库中检索气流数据

文章/答案/技术大牛

发布

1回答

KubernetesPodOperator无法访问存储在Google中的气流连接

kubernetes-pod、google-cloud-composer、kubernetes-secrets、kubernetespodoperator、airflow-connections

我正在使用Composer version 2.0.0 Airflow 2.1.4，我已经创建了一个KubernetesPodOperator，它试图访问存储在Google中的气流连接。我还试图把气流连接的秘密传递给env_vars in KubernetesPodOperator，也试图把它作为Kubernetes Secrets传递到吊舱，但仍然没有运气。

浏览 13提问于2022-04-01得票数 0

1回答

mysql、airflow

嗨，我正在做一个项目，在我的仪表板上显示更多来自气流数据的可视化。我正在为如何直接查询Airflow数据库来检索这些数据而苦苦挣扎。有没有办法从Airflow数据库中检索数据？谢谢

浏览 10提问于2021-09-28得票数 0

回答已采纳

1回答

我一直在搜索的许多文章和正式文档，并成功地配置了一些东西，以便将本地postgres实例用于服务的元数据。到目前为止，我还不知道是否也可以在数据库中定义Apache气流DAG，而不是在相对于气流文件夹位置的文件夹中定义。我的目标是在Cloud中部署无状态气流服务，因此我不能依赖存储在机器上的任何DAG配置文件。是否有一种方法可以将气流部署到Cloud，以便动态地从远程数据库检索DAG配置文件？

浏览 1提问于2020-02-19得票数 0

回答已采纳

2回答

如何将气流变量读入kubernetes吊舱实例

kubernetes、airflow

我正在尝试将气流变量读入我的ETL工作中，以填充管理脚本中的变量。我正在使用KubernetesPodOperator。如何从我的K8舱访问元数据数据库？从气流中获得的错误：错误-无法从秘密后端(MetastoreBackend)检索变量。检查随后的秘密后端。这就是我在main.py中用于输出到控制台日志中的内容。我在气流变量中有一个名为&qu

浏览 13提问于2022-03-03得票数 1

1回答

Apache气流维护表为dag_ids上一次运行日期？

airflow、airflow-scheduler

Apache Airflow有MYSQL表，如dag、dag_run、作业维护dag元数据字段，包括dag运行时。但是，如果这些表的频率和报告查询负载增加，则让外部查询作业查询这些生产气流表以检查上次运行完成可能不是一个好的设计实践。另一个可能的选择是在airflow dags中添加python代码来维护另一个单独的数据库表，这将保存每个运行的dag任务的dag id及其运行时元数据。此表将位于气流之外，需要更新dag代码以将元数据保存到新的数据库表

浏览 0提问于2018-12-10得票数 0

回答已采纳

1回答

Apache气流连接挂钩正在实例化多个连接。

airflow

背景: Apache气流文档如下：pg = PostgresHook(conn_string)re

浏览 4提问于2021-07-05得票数 0

回答已采纳

1回答

您是否将数据存储在与气流后端相同的数据库中？

database、sqlite、airflow

我试图找到关于如何创建数据库的信息，将数据存储在新创建的数据库中，并从该数据库中获取数据，所有这些都是从气流中获取的。所有的参考资料，我可以在网上找到如何做到这一点，但只参考气流的后端数据库。如果我想访问一个SQLite数据库来存储整个DAG中的数据，我可以找到一个python库来帮我做到这一

浏览 3提问于2021-02-03得票数 1

1回答

向气流GreatExpectationsOperator提供aws凭证

airflow、data-quality、great-expectations

我希望使用GreatExpectationsOperator来执行数据质量验证。如何从气流连接中检索s3凭据？而不是来自.aws dir中的默认aws凭据？谢谢!

浏览 4提问于2022-08-08得票数 0

3回答

气流需要mysql吗？

mysql、airflow

我正在尝试将我们的气流升级到1.10.0。2 "No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)更新--这类似于引发的问题，但我更感兴趣的是，为什么气流要

浏览 4提问于2018-10-25得票数 0

回答已采纳

1回答

气流界面中的清洁树视图

python、airflow

我希望避免在DAG树视图中无限期地积累任务元数据(见下面的屏幕快照)。处理这件事最好的方法是什么？登录到元数据服务器并删除这些运行的条目？

浏览 2提问于2018-05-29得票数 2

回答已采纳

1回答

气流任务在失败时没有正确地重新尝试

python、airflow

我创建了一个带有重试计数的气流任务，在运行我的气流测试时，它似乎并不是真正的重试。只是想知道最佳实践，也想知道如果它失败了，我如何才能让它真正地重试。ValueError不是我想要的吗？为了方便我的解释，我已经从我的任务中删除了业务逻辑。

浏览 2提问于2020-06-02得票数 0

回答已采纳

1回答

使用apache火花放电和气流的ETL

pyspark、airflow

我们正在开发ETL工具，使用apache和apache气流。Apache气流将用于工作流管理。能处理大量的数据吗？可以从apache气流中提取、转换计数吗？

浏览 1提问于2021-08-02得票数 0

1回答

关于气流的原始SQL

jobs、airflow

( RDBMS是postgres9.4)我能用原始SQL作为气流中的逻辑部件吗？

浏览 2提问于2016-06-08得票数 1

回答已采纳

1回答

气流-从Windows共享文件夹中检索文件？

python、airflow

从同一网络上的Windows共享文件夹抓取文件的最佳方法是什么？有更好的方法吗？我更希望ETL服务器处理所有这些东西。气流安装在远程Linux服务器(同一网络)上。 Windows文件夹只是标准的UNC路径

浏览 3提问于2018-07-16得票数 2

1回答

气流数据处理

python、composer-php、airflow

新的气流，通过Udemy学习和阅读文档。一个任务或活动如何将其结果传递给下一个任务以进行后续处理？我知道任务/活动应该是幂等的；例如，任务1获得一些数据，任务2对它做一些事情，每次它们运行相同的事情。我意识到没有数据从一个任务流向另一个任务的概念，因为气流是真正的策划者。让我们以SimpleHttpOperator这样的例子为例，我在一个任务中使用它从web资源中获取一些<em

浏览 2提问于2021-07-18得票数 0

回答已采纳

1回答

Google气流OperationalError导致DAG永远挂起

google-cloud-platform、sqlalchemy、airflow、google-cloud-composer

有人知道这个错误的原因以及如何修复吗？

浏览 5提问于2022-05-31得票数 0

1回答

启动气流调度程序时出错-无法从“BaseKeyValueStoreBackend”导入名称“celery.backends.base”

celery、airflow

我已经通过启用windows子系统Linux选项在Windows 10上安装了气流。气流配置为芹菜执行器。Aiflow webserver启动时没有出现错误，但当我尝试启动气流调度程序时，它出现了错误。从>(/home/airflowadmin/.local/lib/python3.8/site-packages/celery/backends/base.py)"导入BaseKeyValueStoreBackendIm

浏览 4提问于2021-09-30得票数 1

1回答