Google Dataflow批处理文件处理性能差

文章/答案/技术大牛

发布

1回答

java、performance、file-io、google-cloud-dataflow、apache-beam-io

我正在尝试使用Apache Beam2.16.0构建一个处理大量XML文件的管道。平均计数为每24小时7000万次，在高峰负载时可以达到5亿次。在我的本地机器(MacBook pro 2018:固态硬盘，16 gb内存和6核i7 cpu)上的批处理作业可以解析大约750个文件/秒。如果我在DataFlow上使用n1-standard-4机器运行它，我每秒只能获得大约75个文件。它通常不会扩展，但即使它扩展了(有时高达15个工作进程)，我也只能获得大约350个文件/秒。批处理作业和流作业之间的唯一区别是F

浏览 15提问于2019-12-18得票数 0

1回答

Dataflow是否在使用的gzip转码？

google-cloud-dataflow

我正在尝试处理JSON文件(10 GB未压缩/2GB压缩)，我想优化我的管道。由于我的输入文件相对较大，因此是否有必要将它们解压缩以便Dataflow将它们拆分成较小的块？

浏览 7提问于2017-02-13得票数 2

回答已采纳

1回答

应该使用什么regex来匹配多行日志消息？

c#、regex、powershell、batch-file

我正在编写一个批处理文件，它处理我的应用程序的日志文件。@Echo off powershell -Command "& {[System.Text.RegularExpressions.RegEx]::Matches([System.IO.File

浏览 3提问于2016-08-10得票数 1

回答已采纳

1回答

从修改的Google提供的模板中自动缩放云数据流任务中的性能问题

python、maven、google-cloud-storage、google-cloud-dataflow

我开始使用，尝试启动一个批处理数据处理管道来解析来自的数亿条记录，并将结果保存到BigQuery。看一下文档，这个用例有一个完美的数据流模板，。我使用Google (gs://dataflow-templates/latest/GCS_Text_to_BigQuery)提供的这个模板的最新编译启动了一个任务，性能相当好(使用N1标准16机器处理=gs://<gcs-bucket>/templates

浏览 5提问于2020-05-15得票数 0

回答已采纳

1回答

内部: IO错误:/var/shuffle/sorted-dataset-4/1011.与tcp://localhost:12345对话时，设备上没有剩余空间

google-cloud-dataflow

我正在尝试处理来自BigQuery的2.5TB数据。:154)at com.google.cloud.dataflow.sdk.util.DoFnRunner) at com.google.cloud.dataflow.sdk.runners.worker.ParDoFnBase$1.ou

浏览 1提问于2015-07-17得票数 0

1回答

错误:不能编码空长

google-cloud-dataflow

我正在尝试修改示例以处理CSV文件。 (2b01c6a9d56ae128)：com.google.cloud.dataflow.sdk.coders.CoderException:不能在com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn(MapElements.java:109)：com.google.cloud.

浏览 0提问于2017-05-27得票数 0

1回答

在GCS上读取Avro文件时的OutOfMemoryError异常

google-cloud-dataflow

我将大小约为650 GCS的BigQuery数据集导出到GCS上的Avro文件，并运行数据流程序来处理这些Avro文件。但是，即使只处理一个大小约为1.31GB的Avro文件，也会遇到OutOfMemoryError异常。:638) at com.google.cloud.dataflow.sdk.io.AvroIO

浏览 1提问于2015-01-16得票数 0

回答已采纳

2回答

用SecurityException在addShutdownHook上为BigQueryTableInserter启动带有应用程序引擎错误的数据流作业

google-app-engine、google-cloud-dataflow

DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。我收到了以下错误。$Application.addShutdownHook(MoreExecutors.java:232)at com.google</e

浏览 8提问于2016-03-21得票数 1

回答已采纳

2回答

如何衡量Google云中数据处理的性能？

google-cloud-platform

我们正在谷歌云平台上运行一个项目，并使用pubsub、dataflow和Bigquery产品。我们如何计算来自pubsub->dataflow->bigquery的一条消息(数据)处理的性能？

浏览 1提问于2018-07-18得票数 0

2回答

Java应用程序中的Maven冲突与google核心-grpc依赖关系

java、maven、google-cloud-platform、google-cloud-dataflow、apache-beam

</artifactId></dependency> Maven安装可以很好地处理这2种依赖关系。:jar:2.5.0 -> io.grpc:grpc-core:jar:1.2.0, com.google.cloud.dataflow:google-cloud-dataflow-java-sdk-all:jar:1.2.0 -> io.grpc:grpc-cor

浏览 0提问于2018-11-22得票数 7

1回答

在批处理管道上接收大于max的消息

google-cloud-dataflow、apache-beam

我一直在一条批量处理管道上收到这条消息，该管道每天运行在google的云数据流服务上。:286) at com.google.cloud.dataflow.sdk.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java

浏览 2提问于2016-11-17得票数 1

回答已采纳

1回答

内部:写入被拒绝

java、google-cloud-dataflow

在某些情况下，当从BigQuery加载或连接数据时，我们会在作业上得到"Write rejected“错误，即使相同的作业可以很好地处理相同大小的不同表。at com.google.cloud.dataflow.sdk.util.DoFnRunnerat com.google.clou

浏览 0提问于2015-06-09得票数 0

1回答

Google数据流作业连续失败：“管道损坏”

google-cloud-dataflow、dataflow

我已经使用相同的代码很长一段时间了，它以前是工作的，但当我重新运行我们的批处理加载器时，它给出了错误，没有足够的磁盘空间，所以我增加了磁盘大小，然后再次运行，然后我得到了管道中断错误，如下所示(AbstractGoogleAsyncWriteChannel.java:289) at com.google.cloud.dataflow</e

浏览 2提问于2017-01-04得票数 2

2回答

尝试从云数据流工作进程连接到云大表时发生NoSuchMethodError

google-cloud-dataflow

java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)我该如何处理这个问题呢我的云数据流管道源代码如下：import com.google.cloud.bigtable.da

浏览 1提问于2015-12-28得票数 0

1回答

Google Dataflow与Apache Spark Streaming (在Google Cloud上或使用Google Dataproc)

apache-spark、google-cloud-dataflow、google-cloud-dataproc

我目前正在做我的uni项目，用来比较Apache Spark streaming和Google Cloud Dataflow的性能。我已经阅读了很多文章，包括的比较。我知道Spark和Dataflow的编程模型是不同的，但是由于我在这个领域的有限和新的知识，我试图理解是否仍然可以进行这种性能比较？什么类型的用例才是正确的呢？对于流应用程序，这里应该考虑哪些性能参数？在阅读有关数据流和Spark的文章时，我也遇到了Dataproc，我还在想，在Dataproc和Spark上进行数据流和Sp

浏览 2提问于2016-04-19得票数 0

1回答

java.lang.OutOfMemoryError: Java heap space - Google数据流作业

google-cloud-platform、google-cloud-dataflow、apache-beam

对于少数记录，我在Google Dataflow中看到以下错误com.google.cloud.dataflow.sdk.util.DoFnRunnerBase.processElement(DoFnRunnerBase.java:139) com.google.cloud.dataflow.s

浏览 28提问于2017-06-20得票数 0

1回答

如何为包装TableRow的类指定/定义编码器

java、google-cloud-platform、google-cloud-dataflow

Serializable { } } at com.google.cloud.dataflow.sdk.coders.

浏览 2提问于2015-10-28得票数 4

1回答

如何修复谷歌DataFlow管道(args)空指针异常？

java、google-bigquery、google-cloud-platform、google-cloud-dataflow

我正在尝试运行一个非常简单的数据流作业，只需要在BigQuery中获取一些数据，对其进行一些处理，然后将其放入一个新的bigquery表中 at com.google.cloud.dataflow.sdk.io.BigQueryIO$Read$Bound.apply(BigQueryIO.java:387) atcom.google.cloud.dataflow.sdk.runners.PipelineRunner.ap

浏览 11提问于2016-08-30得票数 1

回答已采纳

1回答

Google : java.lang.IllegalArgumentException:无法setCoder(null)

google-cloud-dataflow

public UnzipResult(long filesUnziped){ }}处理失败时出错：线程"main“中的异常: com.google.cloud.dataflow.sdk.values.TypedPValue.setCoder(TypedPValue.java:67) at com.google.cloud.dataflow.sdk.values.PCollectio

浏览 7提问于2016-11-02得票数 1

回答已采纳

1回答

使用Apache Beam编写通用记录时Avro“不打开”异常

avro、apache-beam、apache-beam-io

$1.output(GroupAlsoByWindowsParDoFn.java:183) com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(OutputReceiver.java:48) com.google<

浏览 1提问于2018-11-16得票数 0

回答已采纳

点击加载更多