BigQuery表格数据导出
BigQuery表格数据导出
提问于 2015-09-05 15:43:09
我正在尝试使用python api从BigQuery表中导出数据。表包含100到400万行。因此，我将maxResults参数设置为最大值，即100000，然后进行分页。但问题是，在一个页面中，我只能获得2652行，所以分页的数量太多了。谁能提供原因或解决方案来处理。格式为JSON。或者，我可以不使用GCS将数据导出为CSV格式吗？
我尝试插入job并保留allowLargeResults =true，但结果仍然相同。
下面是我的查询正文：
queryData = {'query':query,
'maxResults':100000,
'timeoutMs':'130000'}提前谢谢。
回答 2
Stack Overflow用户
发布于 2015-09-06 18:39:58
您可以尝试在不使用GCS的情况下使用bq命令行工具https://cloud.google.com/bigquery/bq-command-line-tool从表中导出数据，如下所示：
bq --format=prettyjson query --n=10000000 "SELECT * from publicdata:samples.shakespeare"您也可以根据需要使用--format=json。
Stack Overflow用户
发布于 2015-09-05 23:33:10
实际的页面大小不是由行数决定的，而是由给定页面中那些行的大小决定的。我想大概是10MB左右
除了上述条件外，用户还可以设置maxResults来限制页面中的行数
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32410714
复制相关文章
相似问题
腾讯云开发者
