调度删除BQ表
调度删除BQ表
提问于 2018-11-28 15:22:24
我将数据流式传输到BQ中，每天我在Dataprep中运行一个计划的作业，该作业需要24小时的数据，并修改一些数据，并在BQ数据集中创建一个包含24小时数据的新表。
但是，原始表保持不变，并继续收集数据。
我想要做的是在dataprep制作副本之后删除表中的所有行，以便收集新的24小时数据流
我如何使其自动化，我似乎在dataprep中找不到任何可以删除原始表并创建新表的东西。
回答 2
Stack Overflow用户
发布于 2018-11-28 23:24:02
您可以这样做，将您的表设置为partitioned table，因为您需要不断地摄取数据。
此选项将手动执行此操作：
bq rm '[YOUR_DATASET].[YOUR_TABLE]$xxxxxxx'通过过期时间，您可以设置删除表格数据的时间：
bq update --time_partitioning_expiration [INTEGER] [YOUR_PROJECT_ID]:[YOUR_DATASET].[YOUR_TABLE]Stack Overflow用户
发布于 2018-11-28 18:04:28
您可以使用计划查询来清空该表：
https://cloud.google.com/bigquery/docs/scheduling-queries
计划查询支持DDL，因此您可以计划每天从该表中删除所有行或完全删除该表的查询。在特定的时间。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53514127
复制相关文章
相似问题
腾讯云开发者
