apache波束流处理故障恢复

文章/答案/技术大牛

发布

1回答

spark-streaming、google-cloud-dataflow、apache-beam、google-cloud-spanner、stream-processing

如果管道失败，我如何正确恢复并仅处理未处理的事件？我不想重复计算事件。我认为一种方法是写入扳手或bigtable，但可能是写入BQ成功，但DB失败，反之亦然？如何在流式管道中以可靠一致的方式维护状态，以便仅处理未处理的事件？我想确保BQ中的最终聚合数据是不同事件的确切计数，而不是计数不足或计数过多？

浏览 26提问于2018-01-19得票数 0

1回答

Apache Beam如何管理动态检查点？

apache-beam、amazon-kinesis、apache-beam-io、amazon-kcl

我有一个在Apache光束中开发的流管道(使用Spark Runner)，它从kinesis流中读取。我正在寻找Apache光束中的选项来管理运动检查点(即定期存储运动流的当前位置)，以便它允许系统从故障中恢复并在流中断的地方继续处理。

浏览 9提问于2020-06-08得票数 1

1回答

Apache处理流水线-应用状态、错误处理和容错？

java、apache-beam、amazon-kinesis、apache-beam-io

我正在开发我的第一个Apache波束管道，以处理AWS Kinesis中的数据流。我熟悉Kafka的概念，了解它如何处理消费者的偏移量/状态，并具有实现apache / experience处理的经验。它基于apache的应用程序名称，并且使用KCL的任何使用者在DynamoDB中跟踪其状态；是否总是如此&对于apache也是这样吗？如何强制使用者开始处理数据流w.r.

浏览 3提问于2020-08-21得票数 0

1回答

是否可以使用Apache处理非结构化数据(多行web日志)？

google-cloud-dataflow、apache-beam

然而，我没有找到一种方法来一起读取/处理多行。有人能帮助我使用数据流处理多行web日志文件吗？

浏览 0提问于2018-03-29得票数 0

回答已采纳

1回答

将关系数据库数据摄取到BigQuery中

google-cloud-platform、google-bigquery、google-cloud-dataflow、data-ingestion

来自它的数据必须在大查询中以批处理模式周期性地被摄取。建筑是什么样子的？哪个GCP本地服务可用于此？可以使用数据流或DataProc吗？

浏览 13提问于2022-05-12得票数 0

1回答

云数据流是否可以接入不同地域的计算引擎？

google-cloud-platform、google-cloud-dataflow、apache-beam、apache-beam-io、google-vpc

我们在亚洲-东南1地区的计算引擎上部署了kafka，我们需要在apache波束(云数据流)上进行流式处理。根据我的研究，连接它的唯一方式是通过vpc网络。但是，不幸的是，东南亚地区尚未提供数据流，如果我们在其他地区部署数据流，则无法通过vpc网络进行连接。dataflow/docs/guides/specifying-networks#specifying_a_network_and_a_subnetwork 有没有其他解决方案来连接不同地区的计算引擎和数据

浏览 22提问于2020-01-24得票数 0

1回答

json数据的Apache波束流处理

java、apache-beam

我正在分析Apache光束流的数据处理。我从事过Apache流处理(生产者、消费者等)的工作。我想把它和比姆比较一下。我想以编程的方式使用Apache (Java)来流简单的json数据。

浏览 0提问于2018-05-14得票数 2

回答已采纳

1回答

Apache波束流处理事件时间

apache-beam、apache-beam-io

我正在尝试使用apache创建一个事件处理流。在我的溪流中发生的步骤：是否有人可以回顾我的代码(特别是我按窗口读取和分组的1&2步)，或者按事件时查看窗口？ P.S.在卡夫卡的每一张唱片里我都有时间戳字段。

浏览 4提问于2019-11-09得票数 1

回答已采纳

1回答

检查点在Apache上做什么？

hadoop、apache-spark、pyspark、checkpointing

对于Apache，检查点是做什么的，它在RAM或CPU上会受到什么影响吗？

浏览 2提问于2016-04-14得票数 2

1回答

Apache Flink中的端到端精确处理一次

apache-kafka、apache-flink、flink-streaming、exactly-once

Apache通过从检查点恢复作业来保证在故障和恢复时处理一次，检查点是分布式数据流和操作符状态的一致快照(Chandy-Lamport算法用于分布式快照)。此保证在故障转移时恰好是一次。在正常的集群操作中，Flink如何保证只处理一次，例如给定从外部源读取的Flink源(例如Kafka)，Flink如何保证事件从源读取一次？事件源和Flink源之间是否存在某种类型的应用程序级别？

浏览 3提问于2020-09-30得票数 3

回答已采纳

1回答

在python中将草图与Apache光束或Apache Flink一起使用

python-3.x、streaming、apache-flink、apache-beam、flink-streaming

我想在流应用程序中使用KLL sketch。问题是KLL草图是有状态的计算，因此不是幂等的。这是否可以使用在波束或Flink中实现，最好是在Python中？Apache Datasketch说是Integration efforts have started with Apache Flink and Apache Impala.There is also interest from Apache Beam。主要的困难是什么？大多数草图在内部使用原始类型和数组。

浏览 12提问于2020-08-26得票数 0

1回答

基于流的应用程序中的受控/手动错误/恢复处理

apache-spark、error-handling、apache-kafka、stream、apache-flink

我正在开发一个基于Apache Flink的应用程序，它使用Apache Kafka进行输入和输出。这个应用程序可能会移植到Apache Spark，所以我也添加了这个标记，问题仍然是一样的。现在我的问题是，在这些情况下，当我实际上需要做以下事情时，我怎样才能保证上述情况的一致性：恢复

浏览 0提问于2019-01-30得票数 3

2回答

Apache Beam管道能用于批量编排吗？

google-cloud-dataflow、apache-beam、apache-beam-io、apache-beam-internals

尝试为批处理编排安装apache束管道。Batch==>一组工作，作业/子作业之间可能存在依赖关系。可以用我的自定义批处理映射apache束管道吗？？

浏览 12提问于2022-04-30得票数 0

回答已采纳

1回答

用于音频信号/流处理的Apache波束

python、audio、apache-beam

我致力于语音类识别，从而处理音频信号，即将一串变换和数字信号处理(DSP)技术应用于原始音频信号，以获得有价值的表示，然后将这些表示输入机器学习算法。我计划迁移到一个解决方案，在这里我可以同时处理有限和无限(流)音频信号，最好是在python中(主要用于机器学习和音频信号处理中的第三方库可用性)。经过一些研究后，我发现Apache Beam很适合我的情况，但是，在python中似乎没有某些功能可用，比如在我的例子中非常重要的窗口概念，对于有界和无界信号(通常，我的代码处理</em

浏览 4提问于2017-08-22得票数 1

2回答

Akka streams vs Apache* Flink*

apache-flink、akka-stream

在探索Akka流时，我还遇到了Apache哪个流处理引擎。Akka流实现反应流并支持背压。那么，如果我要在两者之间做出决定，我应该选择哪一个呢？它们有何不同之处，相似之处何在？

浏览 3提问于2020-04-23得票数 4

回答已采纳

1回答

如何知道wheather摄像机(RTSP)是流还是不流？

linux、gstreamer、pipeline、rtsp、ip-camera

我用IP摄像头进行实时视频处理。使用Gstreamer管道(与RTSPSRC)进行视频流。我想知道如何在流中检测电源/网络故障。怎样才能从这种情况中恢复过来？

浏览 3提问于2017-04-20得票数 0

回答已采纳

1回答

使用apache* beam按元素流式写入gcs*

google-cloud-platform、google-cloud-storage、google-cloud-dataflow、apache-beam、apache-beam-io

当前的波束管道正在使用FileIO.matchAll().continuously()以流的形式读取文件。这将返回PCollection。我想将这些具有相同名称的文件写回另一个gcs bucket，也就是说，每个PCollection都是一个文件metadata/readableFile，它应该在经过一些处理后写回另一个bucket。当操作一个窗口(即使它有多个元素)时，beam是否保证一个窗口要么被完全处理，要么根本不被处理，换句话说，对于给定的窗口，对GCS or bigquery的写操作是

浏览 6提问于2018-01-13得票数 1

1回答

故障转移的Apache* HBase复制*

hadoop、nosql、hbase、bigdata

Apache :复制:用于故障转移处理的从/复制集群是否也应该使用，而不仅仅是数据恢复？

浏览 1提问于2013-09-12得票数 0

回答已采纳

1回答

云数据流/波束- PCollection查找另一个PCollection

google-cloud-dataflow、apache-beam、dataflow

a)从有界源读取，当在数据流中运行时，PCollection大小可以有多大？b)在处理大数据时，假设PCollection的约5000万个数据试图查找PCollection的约1000万个数据中的另一个PCollection。这可以做到吗?波束/数据流的表现有多好？我正在尝试使用类似于任何其他ETL工具的数据流/波束，在这些工具中，可以通过简单的查找来创建一个新的PCollection。请提供任何代码片段，这可能会有所帮助。

浏览 4提问于2018-09-04得票数 0

1回答

在HDinsight上运行的spark的故障恢复

azure、apache-spark、master-slave

我试图按照中的步骤在Azure HDinsight上运行Apache spark 我想知道我是必须自己管理主/从故障恢复，还是由HDinsight来处理。

浏览 0提问于2015-04-08得票数 0

点击加载更多