spark流状态是否跨分区同步

文章/答案/技术大牛

发布

1回答

spark-streaming

mapWithState更新接收到的每个密钥的状态。当执行器并行运行时，这是如何工作的？Dstream rdd中的键是否只有一个状态，或者每个分区都有一个状态？

浏览 9提问于2018-08-12得票数 0

1回答

我有一个Spark流，类似于： .join(anotherDataFrame, columns) .save() 在join步骤中，我希望spark.sql.adaptive.enabled是true，因为这将加快连接的速度。在repartition步骤中，我希望spark.sql.adaptive.enabled是false，因为如果是真的，它可能会更改分区，保存的结果将被格式化为错误的分区。如

浏览 0提问于2019-01-28得票数 2

2回答

如何使用RDD在分区内排序(并避免跨分区排序)？

apache-spark

Hadoop MapReduce洗牌的默认行为是在分区内对混叠键进行排序，而不是跨分区排序(使键跨分区排序的是总顺序)。我会问如何使用Spark (分区内排序，但不是跨分区排序)实现相同的目标。RDD的sortByKey方法是进行全排序 RDD的repartitionAndSortWithinPartitions是在分区内进行排序，而不是跨分区，但不幸的是，它增加了一个额外的步

浏览 3提问于2017-04-11得票数 15

回答已采纳

1回答

我们可以在批处理模式下使用flatMapGroupsWithState吗？

apache-spark

我们一直在使用flatMapGroupsWithState应用程序接口对点击流数据进行会话。现在我们计划使用它在批处理模式下运行。有关更多背景信息，请查看在youtube 上发布的视频我们可以去掉full-outer连接并使用带有checkpoint folder和Spark State的mapGroupWithState吗

浏览 1提问于2021-01-08得票数 2

1回答

卡夫卡星火流的窗口操作

window、apache-kafka、spark-streaming

我试图探索从卡夫卡的火花流作为来源。根据这个，createDirectStream在kafka分区和Spark之间具有1:1的并行性。这意味着，如果有一个有3个分区的Kafka主题，那么3个火花执行器将并行运行，每个都读取一个分区。假设在读取数据后有一个窗口操作。窗口操作是跨分区还是在一个分区内应用窗口，例如，我的批处理间隔为10s，窗口间隔为50。窗口是否为跨分区的50多个数据

浏览 3提问于2017-06-21得票数 1

1回答

火花流数据流执行，有状态，分区本地groupBy，避免洗牌

dataframe、apache-spark、spark-streaming

我有一个基于Spark2.4.2& Kafka的流应用程序，它将聚合(时间窗口‘’ed)流写回Kafka：问题是，在没有洗牌的情况下，实现这一目标

浏览 2提问于2020-03-13得票数 0

1回答

理解星火结构流并行性

apache-spark、apache-spark-sql、spark-structured-streaming

当使用由Kafka提供的Spark结构化流源时，并行性是如何发生的？，数据集的分区数是基于spark.sql.shuffle.partitions参数的。例如，spark.sql.shuffle.partitions=5和Batch1=100行，我们最终会有5个分区，每个分区有20行吗？考虑到所提供的代码片段，我们是否仍然利用由于groupByKey后面跟着一个mapGroups/mapGroupsWithState函数而产生的火花并行？因此

浏览 3提问于2018-01-13得票数 8

回答已采纳

1回答

记录的Spark流比较

apache-spark、spark-streaming、spark-structured-streaming

如何将接收到的记录与spark结构流中相同key的前一条记录进行比较。使用groupByKey和mapGroupWithState可以做到这一点吗？groupByKey(user)// Spark权威指南中的示例代码当我们执行上面的操作时，还有一个问题，我认为记录的顺序不会被维护，因为接收到记录，它将跨工作节点进行分区和存储，当我们应用groupBy

浏览 0提问于2018-05-09得票数 0

1回答

火花流在窗口上维护状态

java、apache-spark、spark-streaming

对于spark streaming，有没有方法可以让我们只维护当前窗口的状态？我知道updateStateByKey是工作的，但它会永远保持这种状态，除非我们将其清除。是否可以存储和重置每个窗口的状态？对象%1要么是调用，要么是响应。但是，由于对象的响应可能在单独的批处理中，因此我需要跨批处理维护状态。但我只希望保持当前窗口的状态。有没

浏览 0提问于2018-03-01得票数 0

1回答

是否有一种方法可以控制星型分区在集群中的节点之间的分布？

apache-spark、pyspark

我有一个8节点集群，我从jdbc源加载了两个数据文件，如下所示： url=connStr, numPartitions=128*3, ) varDatesDf = spark.read.jdbc但是，我不知道它们是如何跨节点分布的。理想情况下，这两个数据文件都是以这样的方式分发的，即连

浏览 2提问于2016-11-16得票数 1

2回答

外部配置单元表刷新表与MSCK修复

apache-spark、hive、hivecontext、hive-partitions

我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。你知道用refreshTable代替它是否有意义吗？

浏览 8提问于2018-08-07得票数 13

1回答

Kafka处理器API:源和StateStore的不同密钥？

apache-kafka、apache-kafka-streams

我们的第一种方法是创建一个具有连接状态存储的处理器，它使用相关ID作为密钥存储每个传入消息。国家密钥状态值但现在我们想知道卡夫卡流是如何处理不同的钥匙。我们正在使用Microservice方法，并且将有多个运行该服务的实例。存储自动由内部主题支持。源主题和状态主题的分区

浏览 1提问于2018-04-18得票数 7

回答已采纳

1回答

Azure事件中心同步机制

.net、azure、azureservicebus、azure-eventhub

根据示例，在Azure Event Hub客户端中有一个同步发送事件的"Send“方法，但在接收端是否有同步的东西。要实现接收器，我们必须使用事件处理器Host类，但所有寄存器事件都是异步的。如何同步触发接收器？

浏览 2提问于2018-04-15得票数 1

1回答

分区是如何在星火流中工作的？

scala、apache-spark、spark-streaming、rdd、spark-streaming-kafka

我正在致力于提高火花流应用程序的性能。分区是如何在流环境中工作的。是否与将文件加载到spark中相同，还是一直以来它只创建一个分区，使其只在执行器的一个核心中工作？

浏览 0提问于2019-09-15得票数 4

回答已采纳

2回答

Spark mapWithState将所有数据混洗到一个节点

scala、apache-spark、spark-streaming

我正在从事一个Scala (2.11) / Spark (1.6.1)流项目，并使用mapWithState()来跟踪以前批次中看到的数据。该状态被分成20个分区，由StateSpec.function(trackStateFunc _).numPartitions(20)创建。我曾希望将状态分布在整个集群中，但似乎每个节点都拥有完整的状态，并且始终只执行一个节点的执行。然后，我向Kafka写入，分区再次分布在集群中。我似乎找不到为什么mapWithSta

浏览 0提问于2016-03-22得票数 6

1回答

spark structured Delta streaming情况下的下推过滤器

apache-spark、delta-lake

我有一个用例，我们需要将Open Source Delta表流式传输到多个查询中，并对其中一个分区列进行过滤。例如，.给定的增量表在年份列上分区。Streaming query 1where("year= 2013") spark.readStream.format("

浏览 0提问于2021-02-24得票数 1

1回答

从rdbms数据库加载数据的方法应该是什么？

scala、apache-spark、apache-spark-sql、rdbms

我对Spark2.4还很陌生，并试图找出将格林梅利/PostgreSQL中的数据带到Spark的最佳方法。最好是使用联接查询从RDBMS加载数据，还是使用分区按DB列单独加载表，然后使用spark联接？ .option("url&q

浏览 0提问于2019-12-06得票数 0

回答已采纳

2回答

在Cassandra中查询，它将按特定字段对整个表进行排序。

cassandra、cql、cqlsh

PRIMARY KEY((category), name)我想要编写一个查询，它将根据名称对整个表进行排序，而不仅仅是每个分区我在StackOverflow站点中读到了其他答案，一些例子使用一个id (桶)创建了一个分区，这是主键，但我不想这样做，因为我想让数据按类别分布在各个节点上。

浏览 6提问于2015-12-13得票数 3

回答已采纳

2回答

在星火库上列出特定单元表的所有分区，并添加一个分区

apache-spark、hive

如果是这样的话，我可以直接使用spark sc.textFile("file.orc")增量地更新这些文件。如何向hive表中添加新的分区？有什么api的蜂巢亚稳态，我可以使用火花？spark正在将所有文件放在$HIVE/my_table下而不是$HIVE/my_table/month/...下，这意味着他没有对数据进行分区。我使用spark.table("my_table")加载数据，这意味着延迟加载表，这是一个问题，因为我

浏览 2提问于2016-10-26得票数 6

回答已采纳

1回答

为什么RDDs不适合流任务？

apache-spark、rdd

我正在广泛地使用Spark，Spark的核心是RDD，正如RDD论文所示，在流应用程序方面也有局限性。这是RDD文件的准确引文。在这些情况下，RDDs可以高效地将每个转换记为谱系图中的一个步骤，并且可以恢复丢失的分区，而不必记录大量数据。RDDs不太适合于对共享状态进行异步细粒度更新的应用程序，例如web应用程序的存储系统或增量web爬虫。我不太明白为什么RDD不能有效地管理状态。星火流如何克服这些限制？

浏览 2提问于2016-03-06得票数 2

点击加载更多