批流一体化的难点 - 腾讯云开发者社区

文章/答案/技术大牛

发布

4回答

有哪些编程语言是用于机电一体化的？

programming-languages、robotics

有没有专为机电一体化编程而设计的语言？我知道LabView，这是一种数据流语言，但不确定它的主要平台。除了c/c++之外，你能向我推荐一些语言吗？用于机电一体化(机器人、传感器编程等)主题的任何语言。

浏览 0提问于2012-11-27得票数 1

回答已采纳

1回答

从批处理顺序Mule ESB调用流

mule、batch-processing、mule-component

我创建了一个批处理流。从一批流，我调用另一批，从第二批，我调用简单的第三流。我

浏览 1提问于2017-04-05得票数 1

1回答

我一直在尝试创建一个Duplex stream，它接收许多对象，重新组织它们，然后将它们通过管道传输到正在从我的流中读取的任何流。难点在于，只有在接收到所有对象之后(换句话说，在finish事件之后)，读取部分才应该开始。我该怎么做呢？我现在的想法是，我会有两个不同的流(而不是Duplex)，并且我只是在我的API上明确表示，在Writable流告诉您之前，不应该使用Readable流-但这似乎是

浏览 10提问于2017-01-20得票数 1

回答已采纳

1回答

tensorflow验证监视器流auc

python、tensorflow

在tensorflow验证监视器流auc中，它对流意味着什么？案例1:每次调用验证监视器时，都会重置auc状态，因为在每个验证步骤中，对10个批进行流处理。案例2: auc状态没有重置，因此流auc是从验证监视器的第一次调用中计算出来的。即，第一输出( 100步)从10<em

浏览 5提问于2017-06-09得票数 1

回答已采纳

1回答

火花结构化流避免延迟和检查点: startingOffsets最新版本不工作吗？

scala、apache-spark、apache-kafka、spark-structured-streaming

我需要毫不拖延地阅读卡夫卡当前的信息。我正在阅读来自当前时间戳的大延迟的旧消息. (分钟)似乎火花结构化流并没有很好地使用startingOffsets属性的最新。我猜问题是我写的主题的HDFS检查点位置.我测试了许多不同的配置，卡夫卡属性等等。但没有起作用..。下面是我的代码和相关的配置 (kafka.boo

浏览 3提问于2021-10-01得票数 1

1回答

将火花流连接到流集输入

streaming、spark-streaming、streamsets

我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。我将探讨是否有其他方法将它们连接到一个示例POC。

浏览 3提问于2016-07-06得票数 3

回答已采纳

1回答

是否有一个变量来识别火花流中的每一批数据？

apache-spark、spark-streaming

在火花流中，数据按批间隔进行处理。is first batch of data10s~15s is third batch of data是否有一个变量来识别火花流中的每一批数据如果有这样的变量：我可以获得batchID的值来识别哪一批数据，也可以通过batchID (如：window(……).filter(_.batchId == 1) )过滤数

浏览 6提问于2016-02-02得票数 3

回答已采纳

1回答

具有周期性更新静态数据集的结构化流

scala、apache-spark、spark-structured-streaming

流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持

浏览 1提问于2017-12-13得票数 9

2回答

星火流和星火结构化流使用相同的微批引擎吗？

apache-spark、spark-streaming、spark-structured-streaming

星火流和星火结构化流是否使用相同的微批调度引擎？星火结构流比星火流有更低的延迟吗？

浏览 0提问于2019-02-01得票数 3

回答已采纳

1回答

火花流-我如何通知消费者一旦生产者完成？

scala、apache-kafka、spark-streaming、kafka-producer-api

一旦notify Consumer将所有数据发布到Kafka topic，Producer是否有可能更新：每隔十五分钟，生产者就会得到数据，并开始将数据发布到Kafka主题，我相信这是批处理的用例，但这是我们目前

浏览 0提问于2016-11-12得票数 2

回答已采纳

1回答

PyFlink性能与Scala的比较

pyspark、apache-flink、spark-streaming、pyflink

我们的目标是建立冷和热层的Lambda架构。冷(批)层将用Apache (PySpark)实现。但是对于热(流)层有不同的选择:火花流或Flink。因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark流的延迟会更少吗？它比Scala编写的Flink代码

浏览 3提问于2021-11-05得票数 1

回答已采纳

3回答

当使用Spark结构化流时，如何才能获得当前批处理的聚合结果，如Spark流？

apache-spark、spark-streaming、spark-structured-streaming

星火结构流( SSS )和星火流(SS)的一个很大的区别是SSS可以利用状态。它可以存储以前批的聚合结果，并将当前结果与先前的结果一起应用。因此，它可以从输入流的一开始就得到真正的聚合结果。但有一种情况是，我们不希望得到与以前的statestore值合并的最终结果。我们只想得到(输出)当前批处理的聚合结果。在平台和框架方面，我们不能回到党卫军。因此，我的问题是，在

浏览 0提问于2018-01-23得票数 3

回答已采纳

1回答

火花:如何附加到缓存的rdd？

caching、apache-spark、spark-streaming

每一批流数据都缓存不同的值。如何通过将下一批中的下一个不同值添加到已经缓存的RDD中来构建缓存？

浏览 1提问于2015-12-03得票数 0

1回答

如何避免火花流中批量排队

apache-spark、apache-kafka、spark-streaming、spark-kafka-integration

我有直接流的火花流，我使用下面的配置 spark.streaming.kafka.maxRatePerPartition 42 我看到，最初的几批记录正确地消耗了151200张唱片，尽管卡夫

浏览 2提问于2021-03-16得票数 1

回答已采纳

2回答

工作流设计器行onclick太单薄

wpf、vb.net

我正在使用wpf和vb.net在画布上创建一个工作流设计器。我已经可以使用一个很好的函数在对象之间绘制线条(关系)。现在我想实现一种删除关系的方法。我在形状上添加了一个onclick处理程序，但是线条很细，很难点击。我听说要用更粗的笔划绘制2条线1，但这是不可能的，因为drawline方法对cpu的负担很大。大卫

浏览 2提问于2012-04-12得票数 1

回答已采纳

1回答

火花流缓存和转换

apache-spark、spark-streaming

我是新来的火花，我使用星火流与卡夫卡..。假设我在第一批中得到100条记录，在第二批中得到120条记录，在第三批中得到80条记录。--> {sec 1 1,2,...100} --> {sec 2 1,2..120} --> {sec 3 1,2,..80}我想在处理第二批时使用result1，并

浏览 1提问于2014-10-20得票数 3

回答已采纳

1回答

哪种免费的嵌入式web服务器可以处理非常大的POST请求？

post、file-upload、webserver、embedded-linux、large-files

我有一个嵌入式Linux设备，没有大量的RAM，但有相当大的磁盘空间，但没有交换。它需要通过web接口接受大文件上传(可能是GB)。我遇到的大多数web服务器都会在内存中保存所有流数据，然后将其移动到磁盘上，从而处理大型POST请求。有没有web服务器可以通过将大量POST请求流式传输到磁盘上来处理它们，而不是需要内存，或者我是否必须使用应用程序直接处理文件上传http流？我仍然希望保持应用程序代码已经在使用的CGI接口，所以一个一体化的服务器和应用程

浏览 1提问于2012-10-15得票数 1

2回答

外部批处理的火花访问数据帧(结构化流)

apache-spark

我想要在火花流的foreach批处理中创建和更新一个数据帧，并在下面的foreach批处理迭代器之外访问它，这就是我在火花结构化流中试图做的事情。是否可以从外部访问为火花结构化流中的每一批创建或更新的数据帧？= None) {} 我甚至不能访问临时表，这些表是从外部为每个批创建的。即使是在foreac

浏览 1提问于2021-03-25得票数 0

回答已采纳

0回答