我正在尝试通过spark structured streaming从Kafka中读取数据。但是，在Spark 2.4.0.中，您不能为流设置组id (参见How to set group.id for consumer group in kafka data source in StructuredStreaming?)。然而，由于没有设置，spark只是生成组Id，而我停留在GroupAuthorizationException： 19/1
浏览 166提问于2019-12-10得票数 1
回答已采纳
所以现在使用Spark-structured-streaming，我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么，有没有可能在没有HDFS的情况下使用spark structured？奇怪的是，我们只能在Kafka中将HDFS用于流数据。Spark 2.4.7 谢谢
浏览 39提问于2021-05-07得票数 2
在spark streaming编程中，我们可以通过设置以下配置来显式分配kafka消费者组id： val kafkaParams = Map[String, Object](
...= KafkaUtils.createRDD[String, String](sparkContext, kafkaParams, offsetRanges, PreferConsistent) 在sparkstructured streaming中，禁止设置自己的消费者组id。在我的
浏览 11提问于2020-03-31得票数 1
回答已采纳
我们讨论了以下问题：
但是Spark Structured Streaming是在Spark2.2上添加的，它给流媒体带来了很多变化，而且它是非常出色的。我们可以说Spark Strutured Streaming是流处理，还是仍然是批处理？现在Apache Flink和Apache Spark Structured Streaming的最大区别是什么？
浏览 3提问于2017-09-01得票数 13
我读过一些关于spark streaming的文章，我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据，并通过spark流提供这些数据，Spark的机器学习和图形处理算法将在这些数据上执行附注:我用python编写代码，我没有任何使用spark的经验，我可以称之为我试图实现的微服务吗？
谢谢。
浏览 5提问于2020-09-02得票数 0
我想知道是否有与spark structured streaming相关的所有属性的列表？例如，在文档中，我们可以找到：当我按照spark sql上的配置文档中的建议执行spark.sql("SET -v").show(numRows = 200, truncate =
浏览 2提问于2018-09-03得票数 0
额外的： 如果你试图像一个普通的python程序一样运行它，它会给你一个错误： 使用以下命令运行它： spark-submit --packages com.microsoft.azure:azure-eventhubs-spark
浏览 19提问于2019-01-25得票数 0
回答已采纳
到目前为止，我读到的资料：
- [Spark configuration](https://spark.ap
浏览 0提问于2019-12-11得票数 0
我的理解是Spark structured Streaming是建立在Spark SQL之上的，而不是Spark streaming。因此，下面的问题是，应用于spark流的属性是否也适用于spark结构化流，例如：
spark.streaming.backpressure.initialRate spark.streaming.backpressure.enabledsp
浏览 1提问于2018-09-03得票数 1
._ def main(args: Array[String]): Unit = {
.mast
浏览 86提问于2020-05-04得票数 0
回答已采纳
1回答
我想在用Scala编写的Nifi自定义处理器中创建Spark会话，到目前为止，我可以在scala项目上创建spark会话，但是当我在nifi自定义处理器的OnTrigger方法中添加这个spark会话时，spark会话永远不会创建，有什么方法可以实现这一点吗？到目前为止，我已经导入了spark-core和spark-sql库，欢迎任何反馈。
浏览 4提问于2021-03-10得票数 0
我正在尝试将Kafka与Spark-Structured Streaming集成到MongoDB Sink。如果我出错了，我需要帮助来纠正我的代码。集成了Kafka-Spark和Spark-Mongo。现在尝试集成来自Kafka-Spark-Mongo的管道 import org.apache.spark.sql.streaming.Triggerimport org.a
浏览 48提问于2019-04-15得票数 1
回答已采纳
1回答
我正在使用spark structured streaming (2.2.1)来消费来自Kafka (0.10)的主题。val df = spark .format("kafka")
.option("kafka.bootstrap.servers", fromKafkaServers然而，即使我从HDFS目录中删除了所有检查点数据并重新提交了jar，Spark仍然能够找到我上次使用的偏移量并从那里恢复。偏
浏览 1提问于2018-04-18得票数 0
我知道我可以为group-id配置kafka acl，但是spark structured会为每个查询生成新的group-id，因此我无法在kafka acl中配置group-id来摆脱授权例外。14:19:59 org.apache.spark.sql.streaming.StreamingQueryException: Not authorized to access group: spark-kafka-source0.10.1.2.6.3.0-235
18/01/31 14:4
浏览 18提问于2018-01-31得票数 4
目前在阅读flink的文档时，我发现flink中有很多支持，比如翻滚窗口、滑动窗口、会话窗口和自定义窗口的实现谢谢你的点子和建议~
浏览 0提问于2018-11-05得票数 0
我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。
我不确定如何使用Scala和Spark来测试它。
浏览 3提问于2019-07-05得票数 2
在spark structured streaming中，将相同in的当前记录集与以前的记录集连接的最佳方式是什么？如何在重启后重新初始化之前的状态？如果我们使用spark任意会话，如何在重启后重新初始化以前的状态？我们现在已经在Kafka streams中实现了这一点。但是想知道在spark structured streaming中是否有实现的方法。
浏览 2提问于2020-07-15得票数 2
如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我如何使用Spark Structured Streaming 2.2.0来做到这一点？
浏览 2提问于2017-09-07得票数 1
我能够开发一个从kafka读取的管道，做一些转换，并将输出写入kafka接收器以及parque接收器。我希望添加有效的日志记录来记录转换的中间结果，就像在常规的流应用程序中一样。df.queryExecution.analyzed.numberedTreeString logger.info("Query progress"+ query.lastProgress)但这似乎没有办法查看流在其上
浏览 13提问于2018-09-05得票数 3
要求:我需要在Spark (执行转换)中处理来自Kafka ( JSON格式)的流数据，然后将其存储在数据库中。来阅读卡夫卡的内容，比如
data = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092使用Python开发过Spark structured streaming的人可以指导我继续使用示例或链接吗？null,null,null,2.
浏览 1提问于2017-04-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
