Spark结构化流媒体 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何将spark结构化流数据写入REST API？

apache-spark、spark-structured-streaming

我想将我的spark结构化流式处理数据推送到REST API。有没有人可以分享一下相同的例子。我发现很少，但所有都与spark流媒体有关，而不是结构化流媒体。

浏览 14提问于2019-01-18得票数 1

2回答

Spark Structured Kafka偏移管理

apache-spark、apache-kafka、spark-structured-streaming、spark-kafka-integration

我正在研究在kafka中存储kafka偏移量用于Spark结构化流媒体，就像它对DStreams stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges)一样，与我正在寻找的相同，但用于结构化流媒体。它是否支持结构化流媒体？如果是，我如何实现它？我期望kafka只在内部存储偏移量，而不使用spark hdfs检查点。

浏览 10提问于2019-05-16得票数 3

1回答

在Spark 2.1的Spark-kafka集成中，有多少个执行者被指派去听一个kafka话题？

apache-spark、apache-kafka、spark-structured-streaming

我有一个Spark集群，总共有17个executors。我已经将Spark 2.1与Kafka集成在一起，并从topic中读取数据，例如： .readStream .options(kafka.bootstrap.servers","localhost:9092") .load 现在我想知道，当我以集群模式提交

浏览 0提问于2018-09-05得票数 2

1回答

从Spark 2.2到2.3的结构化流媒体有什么不同？

spark-streaming

我在Spark 2.3的发布说明中看到了结构化流媒体的公告/揭幕，但我知道它已经存在了一段时间了。由于一些依赖，我需要在系统实现中使用Spark 2.2，但我也想开始将面向批处理的工作转移到流范例中。在没有Spark 2.3的过程中，我是否遗漏了什么重要的东西，或者这仅仅是结构化流媒体成为“官方”而不是实验性的发行版？

浏览 13提问于2018-07-25得票数 0

1回答

Spark流媒体与结构化流媒体

apache-spark、spark-streaming、spark-structured-streaming

在过去的几个月里，我使用了相当多的结构化流媒体来实现Stream Jobs (在使用了很多Kafka之后)。在阅读了“使用Apache Spark进行流处理”一书后，我有了这样一个问题:有没有什么要点或用例可以让我使用Spark流而不是结构化流？我是不是应该花点时间去了解它，或者既然我已经在使用Spark Structured Streaming了，我应该坚持使用它，并且之前的API没有任何好处。将非常感谢任何意见/见解

浏览 17提问于2020-04-06得票数 2

2回答

是否可以直接将数据从Nifi发送到Spark结构化流/Storm，而不丢失数据？

apache-spark、apache-storm、apache-nifi、spark-structured-streaming

然后，任何流媒体引擎都会消耗卡夫卡的数据，并对其进行分析。在这种情况下，我不想在Nifi和流媒体引擎之间使用卡夫卡。因此，我想将数据从Nifi直接发送到流引擎。但是，我不知道一些细节。例如，结构化流；如果我直接将数据从Nifi发送到Spark结构化流，Spark收到了这些数据，但是Spark的节点被关闭了。火花节点中的数据会发生什么变化？( Spark结构化流是否有任何Nifi接收器？)在这种情况下，Spark<em

浏览 0提问于2019-02-14得票数 0

回答已采纳

1回答

如何在Spark Streaming 2.3.1中将每条记录写入多个kafka主题？

apache-spark、apache-kafka、spark-streaming

如何在Spark Streaming 2.3.1中将每条记录写入多个kafka主题？换句话说，我有5条记录和两个输出kafka主题，我希望在两个输出主题中都有5条记录。问题没有谈到结构化的流媒体案例。我正在寻找结构化流媒体的具体。

浏览 16提问于2018-07-23得票数 1

1回答

Spark结构化流媒体中的滞后函数

apache-spark、spark-structured-streaming

我正在使用Spark 2.3结构化流媒体，并尝试使用“lag”功能。但是，看起来在结构化流中不支持lag。val output = spark.sql("SELECT temperature, time, lag(temperature, 1) OVER (ORDER BY time) AS PrevTempFROM InputTable")org.apache.spark.sql.AnalysisException: Non-time-based w

浏览 13提问于2018-07-21得票数 2

1回答

如何通过spark结构流在Kafka中以编程方式创建主题

apache-spark、apache-kafka、spark-structured-streaming

我想在我的Spark结构化流媒体应用程序中创建多个kafka主题运行时。我发现Java API中有各种可用的方法。但我找不到任何有Spark结构的流媒体。我的apache Spark版本是2.4.4，Kafka库依赖是spark-sql-kafka-0-10_2.12

浏览 17提问于2019-11-28得票数 0

1回答

如何使用Spark streaming将数据从Kafka插入到Kudu

apache-spark、apache-kafka、spark-streaming、apache-kudu

我有一个可以收听Kafka主题的Spark流媒体应用程序。当获得数据时，我需要对其进行处理，并将其发送到Kudu。目前，我正在使用org.apache.kudu.spark.kudu.KuduContext API，并对数据框调用插入操作。我们使用的是Spark 1.6

浏览 7提问于2018-08-08得票数 1

1回答

如何处理JSON文档(来自MongoDB)并在结构化流中写入HBase？

mongodb、scala、apache-spark、spark-structured-streaming

我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument scala> val stream = spark.readStream.format("kafka").option("su

浏览 15提问于2019-11-09得票数 2

1回答

Spark Streaming xml文件

xml、apache-spark、spark-structured-streaming

首先，使用Spark的fileStream读取文件从上述HDFS目录创建Dataframe读取 val loaddata = sqlContext.read.format("com.databricks.spark.xml

浏览 0提问于2016-11-18得票数 2

2回答

如何对Spark结构化流媒体进行单元测试？

apache-spark、spark-structured-streaming、spark-streaming-kafka

我想了解一下Spark Structured Streaming的单元测试方面。我的场景是，我从Kafka获取数据，并使用Spark Structured Streaming使用它，并在数据上应用一些转换。我不确定如何使用Scala和Spark来测试它。有人能告诉我如何使用Scala在结构化流媒体中进行单元测试吗？我还是个流媒体新手。

浏览 3提问于2019-07-05得票数 2

3回答

Pyspark结构化流Kafka配置错误

apache-spark、pyspark、apache-kafka、apache-spark-sql、spark-structured-streaming

我之前已经成功地使用了pyspark for Spark Streaming (Spark 2.0.2)和Kafka (0.10.1.0)，但我的目的更适合于结构化流媒体。我尝试在线使用示例：ds1 = spark .format("kafka") .option("kafka.bootstrap.servers另外，有没有使用KafkaUtils做结构化流媒体的方法呢？或者这是唯

浏览 2提问于2017-07-07得票数 1

1回答

kafka与Apache spark的集成

java、apache-spark、apache-kafka

我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑结构化流媒体是kafka和spark java代码之间的桥梁吗？它是否一直在监听kafka，并且每当消息到达时，它都会从kafka中提取

浏览 15提问于2019-12-10得票数 1

1回答

窗口(固定、滑动等)& Spark SQL DSL中的水印支持

apache-spark、apache-spark-sql、spark-structured-streaming

Spark SQL ( DSL而不是API)是否支持结构化流中的窗口功能？中类似的内容如下所示： SELECT user, SUM(amount) FROM Orders GROUP BY TUMBLE(proctime, spark.sql("sel

浏览 24提问于2019-03-08得票数 0

1回答

Kubernetes上的Spark Structured问题

apache-spark、kubernetes、spark-structured-streaming

在K8s群集上运行结构化流式处理时，我收到警告和错误。以下是我的部分代码： val df = spark .format("kafka") .transform(runner.spark.read.json452

浏览 11提问于2019-10-12得票数 0

1回答

在Spark的结构化流媒体中，是否存在与Spark Streaming相同的流媒体上下文？

apache-spark、spark-structured-streaming

我正在尝试抓取结构化流查询的批次信息，以最终记录。一般来说，我对Spark是个新手，我对从Spark Streaming访问等同于streamingContext的内容感到困惑。streamingContext是Spark Streaming独有的东西吗？我是不是完全偏离了轨道，试图拥有一个具有结构化流媒体功能的StreamingContext？In Spark Streaming, is there a way to detect when a batch has f

浏览 10提问于2019-09-04得票数 1

回答已采纳

2回答

Amazon EMR和Spark streaming

amazon-web-services、apache-spark、spark-streaming、amazon-emr、spark-structured-streaming

Amazon EMR，Apache Spark 2.3，Apache Kafka，每天约1000万条记录。Apache Spark用于以5分钟的时间批量处理事件，每天一次工作节点正在死亡，AWS自动重新配置节点。查看日志消息时，节点中看起来没有空间，但它们在那里有大约1Tb的存储。我认为日志聚合不能正确地将日志复制到s3存储桶，这应该由spark进程自动完成，正如我所见。提前谢谢你！

浏览 4提问于2018-10-19得票数 8

1回答

如何在静态数据集上运行流查询？

apache-spark、apache-spark-sql、spark-structured-streaming

当我将结构化流应用于静态数据集时，火花引擎将得到静态数据集的全部数据。在这种情况下，使用流处理静态数据集意味着什么？我所期望的是结构化流能够一次获得整个数据集的一部分，然后我在数据集中的这一部分上计算它，直到整个数据集被遍历。否则，使用结构化流和spark SQL处理静态数据集是完全相同的。对静态数据集使用结构化流的原因是静态数据集可能很大。我们希望使用结构化流来防止静态数据集上的数据一次性加载到内存中(因此内存非常紧张)。这是否违反了流处理的思想？使用结构化流和火花S

浏览 4提问于2019-11-15得票数 2

回答已采纳

点击加载更多