我们有一个Spark作业,它从GCS读取数据并将其加载到BigTable中。这项工作在较低的环境下工作得很好,但在生产环境中我们遇到了奇怪的问题。我们使用HBase批量put api将数据存储到Bigtable中。任何线索都将不胜感激。at com.google.cloud.bigtable.hbase.BigtableBufferedMutator.getExceptions(BigtableBufferedMutator.java:187) at com.google.cloud.bigtable.hbase.Big
我看到了两个可用于编写GCP BigTable的API:BigTableIO.write() vs CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn我正在处理一个数据流管道,以从一个BigTable读取数据,并将处理过的输出存储在另一个BigTable中。处理负载很大-10 The。我想知道根据对大型数据集写入BigTable的需求使用哪个API。