我想要有一个基本上看起来像这样的数据管道 ? 在多个任务由相应的pubsub消息触发的情况下，处理来自pubsub消息输入的数据，最后一个任务仅在所有这些工作流完成时触发。有没有办法从外部(从Cloud Function/PubSub)触发DAG中的1个任务？编辑 这是我所认为的DAG代码的简化版本： import google.cloud.bigquery as bigquery
from a
浏览 21提问于2021-03-23得票数 1
回答已采纳
bq_audit_query = bigquery_operator.BigQueryOperator( sql=query_sql, destination_dataset_table=bq_destination_table_name然后，我将.csv下载到本地airflow目录，以便通过邮件发送。 我的问题是，如果我可以避
浏览 18提问于2021-08-19得票数 0
回答已采纳
我正在尝试使用docker-compose的apache airflow，使用基本的容器容器apache/airflow:2.0.1。我正在学习本教程https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html# 如何运行简单的查询
浏览 13提问于2021-04-12得票数 0
回答已采纳
我想知道在apache airflow 1.9中，是否有一种方法可以将标准sql与airflow BigQueryValueCheckOperator一起使用。airflow BigQueryOperator通常有一个这样的标志现在不能用遗留sql重写查询</em
浏览 44提问于2018-06-01得票数 1
回答已采纳
1回答
为了使SqlSensor与Oracle数据库一起工作，我已经安装了所有所需的提供程序，并成功地测试了连接。Got OracleHook; 419)
我正在运行Apache气流版本2.3.3，并安装了Oracle提供者apache- Airflow -providers-oracle版本3.2.0
浏览 9提问于2022-07-25得票数 1
回答已采纳
我想直接查询apache airflow数据库，以获得失败任务的报告，但我正在努力在数据库中进行适当的连接。我想要的是由以下列组成的输出
dag_run.dag_id dag_run.run_id dag_run.state dag_run.conf task_instance.task_id task_id.state基本上是所有dag_runs及其任务状态的sql dump；类似于“Graph”视图，但都是run_ids。
浏览 11提问于2018-01-24得票数 1
回答已采纳
我对Apache Airflow非常陌生，有人能提供在windows环境(包括Docker)上安装和运行Apache Airflow Dev 2.0的步骤吗?我在那里找到了很多关于安装Apache Airflow 1.10.x的好文章。
浏览 22提问于2020-05-03得票数 0
1回答
当我在没有自定义DAG的情况下启动When服务器时，我收到警告： [2021-01-12 11:38:58,095] {dagbag.py:440} INFO - Filling up the DagBag' from 'apache-airflow-providers-google' package: No module named 'airflow.providers.google.cloud'
[2021-01-12 11:38:59,050] {providers_
浏览 85提问于2021-01-12得票数 2
Apache气流码头: sqlalchemy.exc.NoSuchModuleError:无法加载插件: sqlalchemy.dialects:mysqldbx-airflow-common: image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.3}
# build: .__SQL_ALCHEMY_CONN: mys
浏览 8提问于2022-08-19得票数 1
回答已采纳
我想在airflow环境中使用我的DAG连接到SQL server，所有的库都应该包含在我的docker映像中，以便它创建连接sql server的环境。我的docker镜像包括: ENV DEBIAN_FRONTEND非交互式ENV TERM linux
浏览 1提问于2019-07-26得票数 0
1回答
在这里，我想从azure密钥库加载sql连接字符串。version: '3' &airflow-common &airflow-common-env
AIRFLOW__CORE__EXECUTOR:
浏览 4提问于2022-03-23得票数 1
正如你在代码示例中看到的，我试图通过Airflow DAG任务将session_parameters传递给我的Snowflake连接，但是参数没有被提取，有什么解决方案吗？task = SnowflakeOperator( sql="CREATE OR REPLACE TABLE MY_DB.MY_SCHEMA.MY_TABLE
浏览 17提问于2021-04-09得票数 3
回答已采纳
目标气流/船坞-合成物THE (这是官方的气流站点)
--- version: '3' x-airflow-common: &airflow-common # In order toimage: ${AIRFLOW_IMAGE_NAME:-<e
浏览 8提问于2022-09-23得票数 0
回答已采纳
我们最近从Airflow v1升级到了v2，目前正在调试这种升级带来的新问题。webserver_1 | [2021-08-21 18:13:45,565] {providers_manager.py:299} WARNING - Exception 'apache-airflow-prov
浏览 197提问于2021-08-21得票数 0
回答已采纳
第一个检查csv文件是否存在，第二个创建MySQL表，第三个将来自csv文件的数据插入到MySQL表中。前两项任务成功，但最后一项任务没有说，由于选项，我没有从文件到数据库插入数据的严格要求。=default_args,schedule_interval='@daily', template_searchpath=['/opt/airflow/sql_files_mysql'], catchup(self.sql, autocommit
浏览 5提问于2022-06-18得票数 0
我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。我的docker-compose.yaml文件：# or more contributorimage: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.1.4}
#
浏览 17提问于2021-09-27得票数 4
回答已采纳
我按照的例子在码头上设置了一个气流项目，我想把它和开度集成起来。我想知道我该怎么做？这是我的项目目录：
下面是我的yaml文件，它与这个完全相同# or moreimage: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.2}
# build: .__SQL_ALCHEMY_
浏览 4提问于2022-06-14得票数 0
我正在尝试通过airflow任务上的SSHHook进行ssh_conn_id连接，但由于sftp连接失败。>, remote_host=<host>, [
浏览 144提问于2021-10-08得票数 0
我在docker容器中运行airflow，并希望将我的airflow.cfg挂载为卷，这样我就可以快速编辑配置，而无需重新构建图像或直接在运行的容器中进行编辑。我能够将我的airflow.cfg挂载为一个卷，并且我的airflow the服务器在启动时成功地从它读取了配置。但是，当我在主机上进行编辑时，更改不会反映在docker容器中。停靠容器内的findmnt -M airflow.cfg的输出将
浏览 0提问于2019-03-26得票数 4
2回答
好吧，我可能很蠢，但无论如何，我如何通过的docker-compose文件安装额外的pip包？x-airflow-common:
&<em
浏览 8提问于2021-03-18得票数 18
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
