问如何从bigquery将压缩数据导出到google云存储中
EN

Stack Overflow用户

提问于 2013-12-19 08:23:46

回答 2查看 1.1K关注 0票数 0

我需要每天将数据从bigquery导出到google云存储。数据量相当大(1TB)，当我将这些数据导出到google存储后，我需要从它下载，这一步非常慢。所以，我想知道是否可以将gzipped数据导出到google存储中？这样可以减少数据量，然后我可以非常快地下载数据。

你能给我一些建议吗？因为我在从bigquery提取到google云存储时没有在bigquery中找到压缩函数。

提前感谢！

发布于 2013-12-19 16:44:07

不幸的是，没有gzip选项。

也就是说，当您从下载文件时，可以使用自动HTTP压缩来完成gzip。只需添加HTTP头：

accept-encoding: gzip
user-agent: anything

很奇怪，您需要定义一个用户代理头。对我们来说也很奇怪。这是谷歌产品中常见的特性，旨在避免浏览器中无法正确处理压缩的错误(请参阅https://developers.google.com/appengine/kb/general?csw=1#compression)。

如果您使用gsutil下载文件，它将自动添加压缩头。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/20676626

复制

相似问题

问如何从bigquery将压缩数据导出到google云存储中EN