在使用bq命令行工具时,如果我将--max_rows设置为大量,则不会返回任何内容。
我正在尝试使用bq命令行工具来收集数据。我已经绘制了我的查询,现在我只需要能够以编程方式返回脚本中的结果。我想做一些类似以下的事情:
cat query_file | bq --bigqueryrc=/path/to/file --format=json --headless -q query --use_legacy_sql=false --max_rows=100000 > /path/to/file.json但是,当我尝试使用Service帐户运行相同的查询时,上面的查询在我的本地机器上工作得很好,没有输出到文件中。
如果我将--max_rows设置为较小的东西,如1000,则查询将工作并返回1000行。但是,当设置为10,000这样的大值时,它不会返回任何内容。
服务帐户是否会影响--max_rows设置?我想不出为什么它在当地能正常工作,但在服务帐户上却不行。
额外信息
bq从BigQuery命令行工具,BigQuery CLI2.0.40。bq,BigQuery CLI2.0.40。编辑
我能够在本地使用服务帐户,并让它在--max_rows中正确工作,因此问题似乎是特定于运行查询的环境。
发布于 2019-01-29 16:20:22
问题解决了!我在Kubernetes Pod中运行bq命令,由于内存限制,进程被默默地杀死。增加允许命令成功完成的内存请求。
https://stackoverflow.com/questions/54411584
复制相似问题