使用大查询数据传输作业的最大文件计数
使用大查询数据传输作业的最大文件计数
提问于 2020-06-21 06:54:28
我的GCP桶里有大约54000个文件。当我试图安排一个大查询数据传输作业来将文件从GCP桶转移到大型查询时，我会得到以下错误：
错误代码9:超出传输运行限制。最大尺寸: 15.00 TB。最大文件数: 10000。找到:大小= 267065994 B(0.00TB)；文件计数= 54824。
我以为最大的档案数是一千万。
回答 2
Stack Overflow用户
回答已采纳
发布于 2020-06-22 06:57:57
Stack Overflow用户
发布于 2020-06-26 00:14:30
前面提到的错误消息Transfer Run limits exceeded与用于在BigQuery中加载作业的已知极限相关。不幸的是，这是一个很难的限制，是不能改变的。有一个正在进行的特征请求来增加这个限制，但是目前还没有ETA来实现它。
解决此问题的主要建议是将单个操作拆分到多个进程中，这些进程将在不超过此限制的请求中发送数据。这样我们就可以回答主要的问题：“为什么我看到这个错误信息，以及如何避免它？”
现在问“如何更容易地自动化或执行这些操作”是正常的吗？我可以想到更多的产品：
- 数据流，它将帮助您处理将添加到BigQuery中的数据。这里是您可以发送多个请求的地方。
- Pub/Sub将有助于侦听事件并自动处理开始的时间。
请看一看本建议的实施，在这里，前面提到的场景有更广泛的描述。
希望这会有帮助！)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62495378
复制相关文章
相似问题
腾讯云开发者
