我已经在Airflow connections中配置了JDBC连接。我的DAG的任务部分如下所示，其中包含一条select语句。当触发DAG成功时，查询结果不会打印在日志中。如何使用JDBC运算符获取查询结果。test_azure_sqldw_v1'，default_args=default_args，schedule_interval
浏览 41提问于2021-01-05得票数 0
我在谷歌作曲家有一个项目，旨在每天提交。下面的代码可以做到这一点，它工作得很好。=query_sql, destination_dataset_table=bq_destination_table_nameexport_audits_to_gcs )
export_audits_to_gcs >> download_file >> email_summary
浏览 18提问于2021-08-19得票数 0
回答已采纳
我无法在Composer中使用模板化的SQL文件。我认为这个问题与我将DAG打包为zip文件以便包含额外代码的事实有关。TemplateNotFound: sql/query_file.sql我在某处读到，在实例化DAG对象时需要设置template_searchpath
浏览 0提问于2018-06-21得票数 3
我正在使用MySqlHook从airflow_db建立连接，并且正在执行一些查询，但是我需要在某个地方看到查询的结果(假设日志)，如何查看？这里是示例代码 task_id='basic_mysql', sql="select
浏览 1提问于2019-01-08得票数 5
回答已采纳
我试图用JdbcOperator编写多个sql语句，但不确定如何使用模板；或许多sql字符串的分隔符。下面的代码是TemplateNotFound。我创建了与"dags“相同级别的”模板“文件夹。sql_task = JdbcOperator( jdbc_conn_id='hive_connection',
template_searchpath='
浏览 2提问于2019-01-21得票数 1
我正在尝试读取sql文件，其中包含与jinja模板在自定义操作符在气流中的查询。我已经使用调用函数的PythonOperator实现了 sql_query = open('my_sql_query.sql').read() #(SELECT * FROM my_table WHERE date > {})
s
浏览 1提问于2020-05-07得票数 6
我试着用气流从BigQueryOperator中获取结果，但是我找不到方法去做。我尝试在next()成员(在1.10中可用)中调用bq_cursor方法，但是它返回None。我就是这么做的import logging
from airflow.contrib.operators importbigquery_operator
from a
浏览 0提问于2018-11-30得票数 5
回答已采纳
在JDBC中设置语句抓取大小和使用LIMIT子句触发SQL查询有什么区别？
浏览 0提问于2009-09-17得票数 14
我需要在sql-server查询计划中找到运算符扫描的页数。我用这返回了每个表扫描的逻辑、物理、预读页面的数量，但我需要每个操作符。此外，我无法使用JDBC驱动程序读取IO消息，我有100多个查询要执行，并记录每个操作符读取的页面数。是否设置任何标志来获取XML计划本身中扫描的页数。
浏览 0提问于2018-07-13得票数 1
回答已采纳
我正在尝试使用docker-compose的apache airflow，使用基本的容器容器apache/airflow:2.0.1。我正在学习本教程https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html# 如何运行简单的查询来从SQL Server数据库中</
浏览 13提问于2021-04-12得票数 0
回答已采纳
我正在尝试使用Airflow sqoop运算符使用Sqoop来传输一些数据。此数据包含空值，我希望它们在我的配置单元表中以NULL的形式结束。r"'\\N'"会导致从气流日志中获取以下命令： sqoop import --username SELECT_OPA_DSC --password MASKED --num-mappers 1 --connect然而，我在我的表中以'\N‘结束
浏览 90提问于2020-10-13得票数 2
回答已采纳
我有一个简单的DAGfrom airflow.contrib.operators.bigquery_operator import BigQueryOperator查询将保存在切分表中。BigQuery将查询结果保存到每日分区表中？我的第一个猜测是在query_params中使用BigQueryOperator，但我没有找到如何使用该参数的任何示例。
浏览 2提问于2018-05-24得票数 6
1回答
我想在SQLite数据库中的所有表上运行一个自定义函数。函数大致相同，但取决于单个表的模式。此外，这些表及其模式仅在运行时是已知的(程序是使用指定数据库路径的参数调用的)。" -> t))我使用的是jdbc sqlite jdbc驱动程序。那么，我如何才能只连接到数据库，而不是连接到表呢？编辑:使用Beryllium的答案作为开始，我将我的代码更新为：
val sqlContext = new org.apache.spark.
浏览 0提问于2015-11-27得票数 3
回答已采纳
1回答
我在码头安装了卡桑德拉和气流。就像MySqlOperator在SQL表中安装数据一样，也没有任何操作符或方法将记录插入到Cassandra表中。我只找到这两个操作符:从airflow.providers.apache.cassandra.sensors.record导入CassandraRecordSensor，从airflow.providers.apac
浏览 1提问于2021-07-26得票数 0
回答已采纳
3回答
我有下面的mysql语句来删除正在工作的DB中的记录。连接在Java中运行同样的查询。"); "jdbc:mysql://db.com:java.sql.SQLSyntaxErrorException:您的SQL语法出现了错误；请检查与MariaDB服务器版本对应的手册，以获得使用
浏览 1提问于2018-02-08得票数 3
回答已采纳
我编写了一个自定义传感器，它轮询源db连接和目标db连接，运行不同的查询，并在触发下游任务之前执行一些检查。对于多个工作人员来说，这一直运行良好。在其中一名工作人员中，这个传感器发出了一个AttributeError问题：我还完成了从worker节点到DB主机和端口的telnet操作，这也很
浏览 1提问于2019-04-09得票数 0
我们正在JDBC请求上执行SQL查询，并且能够在执行时得到适当的响应。但是，我们的项目团队希望看到结果报告中每一个执行的行计数，以及经过的时间、延迟等。如何获得Jmeter中JDBC请求中执行的sql查询的行计数？此外，如何获取附加到汇总report.csv文件中的列的行计数值？
浏览 1提问于2018-12-21得票数 2
1回答
我正在使用groovy (2.4.4)。但我不知道如何设置fetchSize并滚动结果。我使用sql.setResultSetType(ResultSet.TYPE_FORWARD_ONLY)，但是带有sql.rows(sqlQuery)的查询同时返回所有数据，这非常慢。我想像在普通jdbc查询中一样，获取数据。
设置maxRows并不是一个真正的选项，因为我必须查询太多次，但是fetchSize将
浏览 11提问于2016-10-26得票数 1
回答已采纳
1回答
我想用气流操作符做一个类似下面的操作。 简而言之，我希望从数据库表中读取一些数据，并根据该表中某列的值执行不同的任务。 这是我用来获取数据的表。我希望选择status=4所在的行，并根据它们的任务名运行相关的jar文件(对于运行jar文件，我计划使用Bash操作符)。我想使用Airflow执行此任务。注意，我使用的是PostgreSQL。 这是我到目前为止已经实现的代码。from airflow.m
浏览 19提问于2020-10-06得票数 1
回答已采纳
2回答
我希望我的客户端java应用程序查询用户是否在数据库中(以便允许他们访问应用程序的其余部分)。理想情况下，我希望我的客户端应用程序与服务器端应用程序(与存储mysql数据库的服务器相同)通信，该服务器端应用程序将接受此查询，查询数据库并将查询结果发送回客户端。我知道使用Java ServerSockets可以做到这一点，我想我对如何做到这一点有了一个想法，但在我继续之前，我想知道是否有一个框架已经做到了这一点？也许我可以简单地在我的服
浏览 4提问于2016-04-05得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
