1回答
我们有一个拥有3x n2-highcpu-8节点的GKE集群，用GO编写的web应用程序可以扩展到3个实例(每个节点1个)，将所有请求都使用流传输到BigQuery，我注意到了非常奇怪的行为： 在高应用程序使用率期间，应用程序启动的3个实例中有2个在流式写入时100%失败，错误是仅写入“超过上下文截止日期”，而当我删除这2个pod时，它们又开始接收流量，旧的1开始失败，出现“上下文截止日期超过”，而新的2中有1个成功地继续写入数据，另一个开始失败。是否有任何隐藏的限制，
浏览 19提问于2020-12-04得票数 0
回答已采纳
BigQuery提供insertIds并执行一些重复数据消除，以帮助解决通过API插入数据时的故障情况。根据文档，，所以如果插入失败，可以通过API重试插入，而不用担心可能的(插入的)数据重复。问题是，在谷歌云上，有大量承诺将数据插入BigQuery的服务。例如，对于从许多来源获取数据到BigQuery的推荐堆栈，DataFlow / Apache Beam是其中的一部分。那么，当使用任意
浏览 1提问于2018-06-12得票数 0
当运行dbt时，我们随机地有一些模型失败，并出现以下错误：Max retriesexceeded with url: /bigquery/v2/projects/xxxx/jobs
(Caused by NewConnectionError(‘<urllib3.connection.HTTPSConnection我们在GKE</e
浏览 0提问于2020-12-04得票数 1
如何用LoadJob在Dataform中正确处理保存的公共消息？try: source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON, bigquery.SchemaUpdateOption.ALLOW_FIELD_ADDITION,
bigquery.SchemaUpdateOption.A
浏览 11提问于2022-10-29得票数 0
我对Flink相当陌生，在技术用例方面需要一些帮助。我有一个在GKE上运行的flink应用程序，并使用自定义接收器将记录(从Kafka源)写入BigQuery。我可以将记录写入BigQuery，而不会出现任何问题。目前，记录被一个接一个地写入接收器中，因此每个kafka消息都会得到自己对BigQuery的插入api调用，这并不理想，因为我们需要执行批量插入，并且单独插入每个记录将非常昂贵。为此，我使用了
浏览 5提问于2022-10-18得票数 2
回答已采纳
1回答
对于这个问题，我找到了几个相关的问题，但谷歌小组没有给出明确的答案：
云DataFlow的作业，写信给BigQuery，是否仅限于每秒100 K行的BigQuery配额(即BQ流限制)？但我不确定这是否是在插入表中的节流，因为作业运行时比简单的计算慢了大约2倍(500‘m行/180 k行/秒= 45分钟，实际花费了将近2小时)。
浏览 0提问于2015-11-19得票数 4
回答已采纳
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入到微批处理中，这导致了这一错误。BigQuery支持高达10 is的请求大小，这一行太大了。您可以更改重
浏览 6提问于2022-10-13得票数 0
回答已采纳
我希望将失败的记录保留在Google Dataflow管道中，以便以后可以搜索/重试。保存失败记录的最佳组件是什么？记录需要按客户和日期存储(每天)。发布/订阅、Bigquery或数据存储是否适用于此场景？
浏览 41提问于2019-04-03得票数 0
1回答
我们有一个在GKE上运行的spring启动应用程序，但我很快就会把它移到cloud run上。此应用程序连接到云SQL postgress数据库。我有两个副本在加拿大和美国运行。由于法律要求，我们必须将原始用户数据存储在不同的数据区域中。
我们要做的是将每个地区的未识别数据导出到单个BigQuery实例中，这样我们就可以运行分析并开始创建一些ML模型。它最初是如何设置的，我们让发布/订阅导出到BigQuery。为简单起见，我将每个表导出到<e
浏览 2提问于2021-05-05得票数 1
考虑到流插入到BigQuery涉及到的成本，从BigQuery的角度来看，使用Dataflow从有界集合(或批处理模式)读取是否会产生成本？我相信只有当从无界集合(在流模式下)读取并写入BigQuery时，才被认为是对BigQuery的流插入。
浏览 0提问于2018-12-31得票数 2
回答已采纳
{ Log::error('Streaming to BigQuery基本上，它的作用是。如果流成功，我将返回true，如果流失败，我将返回false。我发现bigq
浏览 1提问于2018-03-27得票数 0
我使用BigQuery的InsertAll方法将行插入到InsertAll中。一切都很顺利。上的DML语句将影响流缓冲区中的行，这是不支持的。我使用INSERT查询插入一行，然后立即更新同一行的。效果很好。
当我阅读BIGQUERY的文章时，他们提到了来自JAVA的InsertAll和使用流缓冲区从控制台插入查询。如果有人建议使用从Java 插入的原生insert查询，而不是使用InsertAll到BigQuery，
浏览 2提问于2020-09-30得票数 0
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
我计划在GKE中使用我的应用程序的几个实例，并考虑使用Google Stackdriver进行审计日志记录。但是，根据我在访问控制文档()中所看到的，logWriter角色适用于整个项目。我的计划是将日志从Stackdriver发送到BigQuery。一种可能是直接发送到BigQuery，但似乎不可能将帐户限制为只能插入。另一个是每个应用程序都有一个单独的项目(GKE命名空间)-但这似乎过于复杂，不推荐使用这种方式。
谢谢!
浏览 2提问于2018-10-19得票数 1
我正在使用工作流编写ELT。到目前为止还不错。但是，我的一个表是基于Google工作表的，而该作业在"Access Denied: BigQuery BigQuery: Permission denied while getting Drive credentials上失败了。我的逻辑是我应该添加驱
浏览 1提问于2021-11-13得票数 0
回答已采纳
1回答
我的Argo设置在GKE上。 我观察到的是，在一个工作流成功完成后，它会被自动删除。但是，如果工作流失败，则工作流和所有节点pods仍保留在集群中。 我找不到任何关于这方面的文档。请注意，这仅在GKE集群上发生。在minikube上运行它不会重现这种行为。
浏览 102提问于2021-11-11得票数 1
回答已采纳
1回答
下面是这样的：
我很难相信Google不支持将GKE数据库与Big连接起来。如果没有，我是否可以使用其他解决方案让BigQuery查询我的k8s数据库？
浏览 4提问于2021-10-15得票数 1
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
