在这里，我找到了一个很好的证据，证明mapWithState可以处理10倍于updateStateByKey函数的密钥：我的问题是: JavaMapWithStateDStream中的密钥数量是否有硬限制是否有任何已知的性能结果？它的可扩展性好吗？我想知道是否有可能在mapWithState中有效地管理超过1亿个密钥，以及我需要什么样的环境来做到这一点。
浏览 2提问于2016-12-20得票数 0
回答已采纳
我有一个每秒产生60,000条消息的应用程序。我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
关于Spark-streaming的应用，我有两个问题。第一个问题是如何将JavaMapwithStateDstream的内容输出到textFile中，我浏览了API文档，发现它是类似于Dstreamlike的interface.So，我使用以下代码来尝试输出内容state.update(sum); }
JavaMapWithState
浏览 1提问于2016-04-22得票数 1
是否可以限制Kafka消费者返回Spark Streaming的批量大小？
我之所以问这个问题，是因为我得到的第一批记录有上亿条记录，需要很长时间才能处理和设置检查点。
浏览 0提问于2016-10-11得票数 18
回答已采纳
我在yarn集群上使用spark-streaming (spark version 2.2)，并尝试为我的应用程序启用动态内核分配。executor的数量可以根据需要增加，但是一旦分配了executor，即使流量减少了，它们也不会缩小，也就是说，一旦分配了executor就不会被释放。我在spark-submit命令中设置的配置如下： --conf spark.dynamicAllocatio
浏览 19提问于2018-12-25得票数 1
回答已采纳
我的火花流版本是2.0，kafka版本是0.10.0.1，火花流-kafka-0-10_2.11。我使用直接的方式获得卡夫卡的记录，我现在想限制我在一批中获得的信息的最大数量。星星之火中的消费者数量是卡夫卡中的分区数?那么火花流中记录的最大数量是max.poll.records*consumers？
浏览 1提问于2018-09-27得票数 2
我正在从kafka流式传输数据，并试图将每批事件的数量限制在10个事件。在处理10-15批次后，批次大小突然出现峰值。下面是我的设置：
spark.
浏览 4提问于2017-11-17得票数 0
我有一个名为topic_1的主题，并创建了4个分区。我需要在Kafka spark stream中并行阅读。所以我需要创建一个消费者组和消费者。
你能帮帮我吗?我该怎么做？现在Kafka星火流，一次接受来自Kafka的一个请求。
浏览 0提问于2020-10-15得票数 0
嗨，我正在使用带超时功能的mapwithstate api，当超时间隔到达理想数据时，我得到了下面提到的异常。我使用的示例位于这个位置，JavaPairDStream<String, Integer> wordsDstream = words.mapToPair(
new P
浏览 4提问于2016-02-25得票数 1
回答已采纳
1回答
我有一个S3 json数据集，它是KMS客户端加密DynamoDB的转储(即每条记录都是独立加密的KMS客户端)。我想知道是否有什么办法限制这些星图操作？
浏览 7提问于2017-05-13得票数 1
我们正在使用具有8核和32 We的Spark独立集群，具有相同配置的3个节点集群。
有时批处理流在不到1秒的时间内完成。在某些情况下，控制台中会出现以下日志，该时间超过10秒。
浏览 0提问于2016-03-29得票数 3
Kafka DirectStream的火花流问题：
.config("spark.default.parallelism", "2").config(&q
浏览 4提问于2017-02-16得票数 6
我正在用Scala2.12(用SBT构建)构建一个Spark (3.0.0)流应用程序。我如何从Twitter中获得tweet，因为所有的库都是针对Scala <= 2.11的。编辑:我在尝试用libs构建时获得的示例输出：[error]import org.apache.spark.streaming.tw
浏览 2提问于2020-08-26得票数 2
2回答
spark流中奇怪的延迟
、、、、
我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。然而，在几个批次之后，它连续花费了41 ~ 45秒，并且大部分延迟发生在从stage0获取数据的区域。我的环境如下所示。Spark streaming 2.1.0(createDirectStream)批量间隔: 20s
Request.ti
浏览 2提问于2017-01-18得票数 4
2回答
如何更新RDD？
、、
我们正在开发Spark框架，其中我们正在将历史数据移动到RDD集合中。现在有一个用例，其中RDD中的数据子集被更新，我们必须重新计算值。
HistoricalData以RDD的形式出现。我根据请求范围创建了另一个RDD，并将该RDD的引用保存在一个ScopeCollection中
浏览 45提问于2014-12-16得票数 20
我想直接在代码中覆盖spark.sql.shuffle.partitions参数： val sparkSession = SparkSession .appName("SPARK")
sparkSession.conf.set("spark.sql.shuffle.partitions", 2) 但此设置不会生效，因为在日志中我收到以下警告消息虽然在spark-submit外壳<em
浏览 39提问于2021-04-30得票数 2
2回答
我打算停止流作业，添加/删除新主题，并在需要更新流作业中的主题时再次启动作业，使用中概述的两个选项之一。，并试图理解为什么“不允许”更改输入源的数量：
在出现故障或有意关闭的情况下，您可以恢复上一个查询的前一个进度和状态
浏览 6提问于2020-06-09得票数 2
我试图运行以下代码来实时获取twitter信息：import org.apache.spark.streaming._但是，当它到达以下命令：val sc = new SparkContext(sparkConf)时，会出现以下错误：
17/05/ 09 :08:35警告SparkContext:在同一个JVM中检测到多个正在
浏览 2提问于2017-05-10得票数 9
回答已采纳
1回答
我向built.sbt添加了以下依赖项，在终端中运行sbt run之后，得到了以下错误：[info] welcome to sbt 1.5.5 (Private Build Java/localorg.apache.spark/spark-streaming/3.1.2/ivys/ivy.xml
[error] not found: https://repo1.maven.org/maven2/org
浏览 1提问于2021-09-16得票数 3
回答已采纳
<init>(StreamExecution.scala:137) at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery:466)
at org.apache.spark.sql.stream
浏览 2提问于2021-02-04得票数 2
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号