批流一体框架 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

火花结构化流避免延迟和检查点: startingOffsets最新版本不工作吗？

scala、apache-spark、apache-kafka、spark-structured-streaming

(分钟)似乎火花结构化流并没有很好地使用startingOffsets属性的最新。我不想读旧消息，只有重要的当前的！

浏览 3提问于2021-10-01得票数 1

3回答

当使用Spark结构化流时，如何才能获得当前批处理的聚合结果，如Spark流？

apache-spark、spark-streaming、spark-structured-streaming

星火结构流( SSS )和星火流(SS)的一个很大的区别是SSS可以利用状态。它可以存储以前批的聚合结果，并将当前结果与先前的结果一起应用。因此，它可以从输入流的一开始就得到真正的聚合结果。在平台和框架方面，我们不能回到党卫军。以word计数应用为例，在火花结构流指南：中给出了该应用程序。当有一个"cat cat“在一个批，我的预期输出是cat|2。当下一批

浏览 0提问于2018-01-23得票数 3

回答已采纳

2回答

外部批处理的火花访问数据帧(结构化流)

apache-spark

我想要在火花流的foreach批处理中创建和更新一个数据帧，并在下面的foreach批处理迭代器之外访问它，这就是我在火花结构化流中试图做的事情。是否可以从外部访问为火花结构化流中的每一批创建或更新的数据帧？= None) {} 我甚至不能访问临时表，这些表是从外部为每个批创建的。即使是在foreach批内更新的数据框架也显示来自外部foreach<em

浏览 1提问于2021-03-25得票数 0

回答已采纳

4回答

有哪些编程语言是用于机电一体化的？

programming-languages、robotics

有没有专为机电一体化编程而设计的语言？我知道LabView，这是一种数据流语言，但不确定它的主要平台。除了c/c++之外，你能向我推荐一些语言吗？用于机电一体化(机器人、传感器编程等)主题的任何语言。

浏览 0提问于2012-11-27得票数 1

回答已采纳

1回答

从批处理顺序Mule ESB调用流

mule、batch-processing、mule-component

我创建了一个批处理流。从一批流，我调用另一批，从第二批，我调用简单的第三流。我需要第三次流动的选择应该是完整的，然后，只有2条记录应

浏览 1提问于2017-04-05得票数 1

1回答

风暴式间歇加工

apache-kafka、apache-storm、trident

我对风暴的用例是流处理和批处理。用例2:风暴拓扑应该将元组作为一批元组进行处理。我使用Kafka作为队列机制来提供Storm拓扑。是否Storm不是这样做的正确框架，因为它是用于流处理的(用例1)。风暴三叉戟对用例#2有帮助吗？

浏览 3提问于2015-09-22得票数 0

3回答

我需要下载什么才能开始使用Spring框架开发应用程序？

java、spring

我需要开始使用Spring框架开发应用程序，我想知道我需要下载哪些工具来启动和运行我。弹簧JavaConfig

浏览 3提问于2009-05-05得票数 2

回答已采纳

1回答

存在一种配置蛋糕的方法，因此它在DotNetCorePublishSettings内部使用自包含的交换机。

c#、.net、cakebuild

MSBuild有一个“--自成一体”的开关，它也发布了使用过的.NET框架。所以蛋糕有一个函数"DotNetCorePublish“。是否存在设置该函数的方法，以便它也提供框架？

浏览 10提问于2021-11-26得票数 0

回答已采纳

1回答

tensorflow验证监视器流auc

python、tensorflow

在tensorflow验证监视器流auc中，它对流意味着什么？案例1:每次调用验证监视器时，都会重置auc状态，因为在每个验证步骤中，对10个批进行流处理。案例2: auc状态没有重置，因此流auc是从验证监视器的第一次调用中计算出来的。即，第一输出( 100步)从10批计算，第二验证输出( 200步骤)基于第

浏览 5提问于2017-06-09得票数 1

回答已采纳

1回答

在批处理执行AWS Kinesis之前设置超时延迟

aws-lambda、serverless-framework、amazon-kinesis

我正在使用AWS (配置为Serverless框架)，我使用的是batchSize of 1。 handler: ...kinesis arn:例如，在读取下一批之前我希望在每个lambda执行之前有一个时间延迟，基本上从流中提取一个记录。谢谢!

浏览 1提问于2020-02-05得票数 1

0回答

Spark RDD apend

apache-spark

在Spark中，我以RDD的形式加载了一个数据集，并且喜欢不频繁地向其追加流数据。我知道RDDs是不可变的，因为它简化了锁定，等等。其他处理静态和流数据的方法是一体的吗？类似的问题以前也被问过：

浏览 7提问于2016-12-24得票数 0

1回答

星火结构流-动态更新数据帧的模式

apache-spark、apache-spark-sql、schema、spark-structured-streaming

我有一个简单的结构化流作业，它监视CSV文件的目录，并编写拼花文件--在两者之间没有转换。这项工作从使用readStream()读取CSV文件开始构建一个数据框架，我通过调用一个名为buildSchema()的函数获得了一个模式。虽然buildSchema()可以为我提供最新的模式，但我不知道如何定期调用它(或者每个CSV文件一次)，然后使用最新的模式以某种方式重新生成或修改数据框架。在测试时，我观察到只有query对象在一批接一批地连续运行；我放置的log语句和用于模式比较的if()语句只在应用程序开始

浏览 2提问于2018-02-12得票数 11

1回答

将火花流连接到流集输入

streaming、spark-streaming、streamsets

我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。我将探讨是否有其他方法将它们连接到一个示例POC。

浏览 3提问于2016-07-06得票数 3

回答已采纳

1回答

是否有一个变量来识别火花流中的每一批数据？

apache-spark、spark-streaming

在火花流中，数据按批间隔进行处理。is first batch of data10s~15s is third batch of data是否有一个变量来识别火花流中的每一批数据如果有这样的变量：我可以获得batchID的值来识别哪一批数据，也可以通过batchID (如：window(……).filter(_.batchId == 1) )过滤数据或者有什么方法来区分每一批数据？

浏览 6提问于2016-02-02得票数 3

回答已采纳

1回答

具有周期性更新静态数据集的结构化流

scala、apache-spark、spark-structured-streaming

流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流。

浏览 1提问于2017-12-13得票数 9

2回答