我想知道在apache airflow 1.9中,是否有一种方法可以将标准sql与airflow BigQueryValueCheckOperator一起使用。airflow BigQueryOperator通常有一个这样的标志
use_legacy_sql=False
以禁用旧版sql。我找不到一种使用BigQueryValueCheckOperator实现这一点的方法。
现在不能用遗留sql重写查询,因为我想在where子句中使用_PARTITIONTIME
。
谢谢。
发布于 2018-06-01 04:44:14
目前,您不能将StandardSQL与此运算符一起使用。
但是,对于您的用例,您仍然可以将_PARTITIONTIME
与Legacy Sql结合使用,如文档中所述:https://cloud.google.com/bigquery/docs/querying-partitioned-tables#querying_ingestion-time_partitioned_tables_using_time_zones
示例查询:
#legacySQL
SELECT
field1
FROM
mydataset.partitioned_table
WHERE
_PARTITIONTIME BETWEEN TIMESTAMP("2016-05-01")
AND TIMESTAMP("2016-05-06")
AND DATE_ADD([MY_TIMESTAMP_FIELD], 8, 'HOUR') BETWEEN TIMESTAMP("2016-05-01 12:00:00")
AND TIMESTAMP("2016-05-05 14:00:00");
https://stackoverflow.com/questions/50631892
复制相似问题