我们已经收集了3个月的日志信息,而且信息量很大,因为所有这些表都有日志条目,我们希望去掉最老的条目以及存储它们的表。
我们尝试了不同的方法,无论是使用bq
命令工具还是发出request服务请求。我们已经成功了。
现在,问题是:是否有一个更合适的工具来简化BigQuery中日志表的管理?我正在考虑在Unix/Linux上使用像logrotate
这样的工具。
发布于 2015-09-18 15:46:45
我们使用的“工具”是数据集级别上的过期集。它的工作方式与你所期望的完全一样。
假设你设定了90天。
任何新表"automaticaly“都会在其创建后的90天内到期。
参见https://cloud.google.com/bigquery/docs/reference/v2/datasets中的"defaultTableExpirationMs“
发布于 2015-09-18 22:58:08
谢谢你的回应,这是非常有用的。文档中有一个隐藏的细节,在我看来它有点不清楚。
对于那些想要设置defaultTableExpirationMs的人,您需要以秒而不是毫秒来指定过期时间。此值将添加到表创建时间。
我发布了命令,并为我工作:
bq update --default_table_expiration 5184000 -d your_project:data_set
注:表为两个月(5184000 = 60 * 60 * 24 * 60)。
https://stackoverflow.com/questions/32655765
复制相似问题