我有一个项目要求将Airflow元数据DB备份到某些数据仓库(但不使用Airflow DAG)。同时,需求提到了一些称为airflow_db
的连接。
我对Airflow还很陌生,所以我在谷歌上搜索了一下这个话题。我对这部分有点困惑。我们的Airflow元数据DB是PostgreSQL (这是从docker-compose构建的,所以我正在修补本地安装),但是当我查看Airflow Web中的连接时,它显示airflow_db
是MySQL。
我最初以为它们是一样的,但从外观上看,它们不是吗?有人能解释一下它们的区别和用途吗?
发布于 2020-11-17 00:47:08
默认情况下,Airflow使用MySQL创建airflow_db
连接器Id (参见source code)
默认连接在生产系统中并不是很有用。这只是一长串你可能不会用到的东西。
Airflow 1.1.10通过设置:airflow.cfg
中的load_default_connections = False
(参见PR)引入了不创建默认列表的功能
为了给出更多的背景信息,连接列表是钩子找到连接到服务所需的信息的地方。它与后端数据库无关。虽然后端是db,就像任何db一样,如果你希望允许钩子与它交互,你可以像任何其他连接一样在列表中定义它(这可能是为什么你在默认情况下有这个选项)。
https://stackoverflow.com/questions/64851181
复制相似问题