1回答
我正在使用结构化流媒体来读取csvs和写入kafka。流选项卡未显示在Spark UI中(未使用流上下文)。
浏览 16提问于2019-05-09得票数 1
回答已采纳
checkpoint-location")启动流式查询后，如果在files-to-process目录下的新paruet文件上有模式更改。未写入新架构更改的结构化流式处理。是否有可能在结构化流式传输中处理
浏览 2提问于2021-07-09得票数 0
1回答
在遗留的spark流中，有一个度量标准，您可以看到该特定批处理正在处理多少条记录。有没有办法在spark structured streaming (3.x.x)指标中显示类似的东西？ ?
浏览 14提问于2021-07-23得票数 0
我已经为Spark Structured streaming创建了一个Custom Streaming选项卡。我刚刚附加了Spark UI中的流式选项卡，但我无法附加在流式选项卡中的页面。在这个自定义选项卡中，我想要显示已完成的批次数、每个批次收到的消息数、处理时间及其图表。SparkUI未调用SparkUITab的render方法。我得到<em
浏览 10提问于2018-08-24得票数 2
我想将Java Spark SQL DataFrames转换为结构化流式DataFrames，这样每一批都会统一到结构化流式DataFrame。因此，我可以在DataFrames上使用从批处理源获得的Spark Structured Streaming功能(例如连续作业)。
浏览 24提问于2021-08-22得票数 0
回答已采纳
我在运行无法连接到Kinesis数据源的胶水流式作业时遇到以下错误：WARNING:root:StreamingQueryException caught.StreamingQueryException: 'Error while Describe Streams\n=== Streaming Query ===\nIdentifier: [id = 60exxxxxxxxxxxxxscala-library-2.11.12.jar,
spark-sql_2.11-
浏览 0提问于2020-09-08得票数 0
我想将我的spark结构化流式处理数据推送到REST API。有没有人可以分享一下相同的例子。我发现很少，但所有都与spark流媒体有关，而不是结构化流媒体。
浏览 14提问于2019-01-18得票数 1
1回答
我为我的教程创建了sparkStreaming模拟。当我执行outputMode ("complete")操作时，我得到一个错误。output mode not supported when there are no streaming aggregations on streaming DataFrames/Datasets; start.awaitTe
浏览 0提问于2021-02-23得票数 0
有没有可能将Kafka流源支持的数据帧写入到AWS Redshift中，我们过去曾使用写入到Redshift中，但我认为它不会与DataFrame##writeStream一起工作。另外，考虑到Redshift的工作方式，使用JDBC connector和ForeachWriter进行编写可能也不是一个好主意。我在中遇到的一种可能的方法是将文件写入S3，然后使用具有S3对象路径的清单文件调用。在结构化流的情况下，我如何控制写入S3的文件？还有一个单独<
浏览 14提问于2018-01-19得票数 0
回答已采纳
我正在对来自kafka的数据运行结构化流式处理(spark 2.1.0 with zeppelin 0.7)，并尝试使用spark.sql可视化流式处理结果%spark2.queryName("test")运行后，我查询"test“，如下所示：select *它只在我手动运行时更新，我的问
浏览 4提问于2017-07-13得票数 6
2回答
我在Spark的结构化编程中运行批处理。下面的代码片段抛出错误"kafka不是一个有效的Spark SQL数据源；“。我使用的版本是--> spark-sql-kafka-0-10_2.10。非常感谢您的帮助。谢谢。
浏览 0提问于2017-05-24得票数 1
1回答
我有一个结构化的流式作业，从kafka读取，执行聚合和写入hdfs。该作业在yarn中以群集模式运行。我使用的是spark2.4。每隔2-3天，这项工作就会卡住。它不会失败，但会卡在某个微批处理中。当我终止流式作业并重新启动时，该作业再次开始正常运行。如何解决这个问题？
浏览 34提问于2020-10-03得票数 0
假设您有一个大文件存储在hdtf中，其中包含结构化数据。现在的目标是只处理文件中的一部分数据，就像文件中第二列值介于so和so之间的所有行一样。是否可以启动MR作业，使hdfs仅流式传输文件的相关部分，而不是将所有内容流式传输到映射器。
原因是我想通过只处理我需要的部分来加快工作速度。
浏览 0提问于2012-01-26得票数 1
回答已采纳
一个是批处理作业，另一个是结构化流式作业。两者都写入相同的文件接收器。两者具有相同的架构。但是，当从该接收器读取数据时，spark仅读取由流式作业创建的文件，并跳过由批处理作业创建的文件。然而，这并不总是可能的，因为在下一个微批spark中将在那里创建另一个_spark_metadata文件夹。如何在spark中读取此接收器中的所有文件。
浏览 13提问于2020-05-20得票数 0
1回答
使用fread()可以流式传输大文件来强制下载。但是，在流式传输期间，所有的php请求都将被阻塞，直到流式传输完成。如何在流式处理过程中处理传入的requist？
浏览 0提问于2015-02-10得票数 3
我们有Spark Streaming从Kafka读取数据来处理它并将结果写到其他地方。在升级过程中，Spark从v1.6升级到v2.1，Kafka从v0.8升级到v2.1。为了执行流处理，我们使用KafkaUtils.createStream(...)连接到Kafka，但KafkaUtils在Kafka 2.11中不再可用。然而，我似乎找不到任何Spark Streaming + Kafka在Java中不使用此方法的示例或文档。 我是不是漏掉了什么？在这些版本中，连接两个世界的最佳方式是什么？
浏览 11提问于2021-09-27得票数 0
2回答
我正在使用spark structured streaming从kafka主题中读取事件，并对其进行处理并将其写入到parquet中。我必须根据我在事件中获得的键将输出写入不同的文件夹。我尝试使用结构化流式处理示例始终指向特定的文件夹.Do我需要为每个文件夹启动一个流吗？
浏览 2提问于2018-08-13得票数 0
我正在尝试在Zeppelin中可视化spark结构化的流。我能够使用内存接收器()来实现。但对于大数据量来说，这并不是一个可靠的解决方案。什么是更好的解决方案？
示例实现或演示会很有帮助。
浏览 2提问于2019-10-01得票数 0
基本上，它的作用是。如果流成功，我将返回true，如果流失败，我将返回false。我发现bigquery流并不稳定。在我的测试中，大多数时候，我将所有的534845行都流到了表中。但有一次，我失去了一些行。例如，有
浏览 1提问于2018-03-27得票数 0
我们需要帮助在工作站中检索带有图像流的研究。如何通过图像流从ClearCanvas服务器检索ClearCanvas工作站中的检查。
浏览 12提问于2017-02-11得票数 1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
