将Flink中的buffertimeout设置为0 ms是否会影响性能？
将Flink中的buffertimeout设置为0 ms会影响性能。在Flink中，buffertimeout是用于控制数据流在缓冲区中的等待时间。当设置为0 ms时，意味着数据流不会在缓冲区中等待，而是立即进行处理。
这种设置可能会导致性能问题，因为数据流不再被缓冲，而是立即发送给下游操作符进行处理。这可能会导致频繁的网络通信和计算开销，特别是在数据量较大或处理速度较慢的情况下。
通常情况下，适当的buffertimeout设置可以提高性能。它可以允许数据在缓冲区中累积一段时间，以便进行批处理或优化网络通信。根据具体的场景和需求，可以根据数据的到达速率和处理能力来调整buffertimeout的值。
腾讯云提供了一系列与流式计算相关的产品，如腾讯云流计算 Oceanus、腾讯云消息队列 CMQ、腾讯云数据分发服务 DTS 等，可以帮助用户在云上构建高性能的流式计算应用。具体产品介绍和链接如下：
- 腾讯云流计算 Oceanus：腾讯云自研的流式计算平台，支持实时数据处理和分析，具有高可靠性和低延迟的特点。了解更多：https://cloud.tencent.com/product/oceanus
- 腾讯云消息队列 CMQ：一种高可靠、高可用的消息队列服务，可用于解耦和异步处理数据流。了解更多：https://cloud.tencent.com/product/cmq
- 腾讯云数据分发服务 DTS：可实现不同数据源之间的数据同步和实时传输，支持流式计算场景下的数据流动。了解更多：https://cloud.tencent.com/product/dts
相关·内容
在我的Flink应用程序中，我使用java.time.Instant来表示UTC时间戳。应用程序运行正常，但我最近在Flink日志中注意到了这条消息：
“类java.time.Instant不能用作POJO类型，因为并非所有字段都是有效的POJO字段，必须作为GenericType处理。有关对性能的影响的详细信息，请阅读\”数据类型和序列化\“上的Flink文档。”
当我去阅读文档时，没有太多关于使用像Instant这样的东西对性能的影响的讨论。我一般的理解是，必须使用Kryo而不是Flink内置的序列化程序。我目前使用的是Flink 1.6，我发现Flink 1.7及更高版本似乎有一个Ins
浏览 93提问于2020-02-05得票数 0
回答已采纳
1回答
我有一个工作，使用flink摄取数据，并将文件格式通过拼图发送到HDFS，因为我在Flink中使用了streamFileSink，只有检查点成功，文件才会完成。我想知道检查点应该设置多长时间，什么样的参数可以参考？
浏览 0提问于2020-08-26得票数 0
1回答
Flink文档表明Ceph可以用作状态的持久存储。
考虑到Ceph是一个事务性数据库，它不会对Flink的性能产生不利影响吗？
浏览 6提问于2017-12-05得票数 3
回答已采纳
1回答
对于Flink流/ Flink有状态函数，众所周知，对于小值(例如5ms)的setBufferTimeout将提供“最佳”延迟体验。其他推荐的配置值是什么，您必须注意(设置、重置、修改.)当优化Flink流或有状态函数中的延迟时，作业？
浏览 8提问于2020-09-18得票数 1
回答已采纳
我试图创建简单的多节点flink集群(1主1从)。当我使用“.bin/ start -cluster.sh”启动集群时，作业管理器和任务管理器都会启动，但是任务管理器无法在作业管理器注册。经过几分钟的尝试，任务经理就死了。
有关环境的详细情况：
我正在使用谷歌云虚拟机。操作系统是Ubuntu x86_64
试用flink版本flink-1.7.2和flink-1.8.0。两人都犯了同样的错误。
作业管理器主机名= ubuntu-test-1 (10.142.0.40)
任务管理器主机名= ubuntu-test-2 (10.142.15.250)
$ cat conf/flin
浏览 1提问于2019-06-25得票数 2
回答已采纳
1回答
我们使用弹性java rest高客户端6.1，但rest客户端经常随机返回超时。
我们总是以这种方式自定义超时：
client.setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback {
override def customizeRequestConfig(requestConfigBuilder: RequestConfig.Builder): RequestConfig.Builder = {
requestConfigBuilder
浏览 3提问于2018-01-16得票数 3
1回答
我们正在运行一些flink作业，所有这些作业都有一个kafka源和多个cassandra接收器。我们在很大程度上依赖于具有reduce功能的时间窗口和键控数据。我们的tps目前在100-200左右。我有几个关于检查点和保存的状态大小的问题: 1.由于我们使用的是reduce函数，状态大小是否只受打开的窗口数量的影响？如果每小时窗口和分钟窗口都有相同的累加器，我们是否应该期望类似的状态大小？由于某种原因，我们看到每小时窗口的状态比分钟窗口大得多，而每天窗口的状态比每小时窗口大得多。2.打开的窗数是多少才算合理？什么是一个大的州？最常见的检查点时间间隔是什么(我们的是5秒，对我来说太频繁了)，对
浏览 46提问于2019-05-03得票数 1
我使用flink1.10.0一段时间，发现了一个奇怪的问题。
我两次提交同一份工作。
$ flink list -r
28.02.2020 18:04:24 : f9ad14cb86a14c388ed6a146c80988fd : ReadKafkaJob (RUNNING)
28.02.2020 18:07:23 : e05bf26ee986573ffc01af8b1f5d1d59 : ReadKafkaJob (RUNNING)
两个作业具有相同的group.id，但每个作业都可以读取数据。下面的日志显示相同的事件消耗两次。
2020-02-28 18:08:29,600 INFO co
浏览 3提问于2020-02-28得票数 1
我试图在每个JSON上创建一个500 ms数据集，并希望将其推送到Kafka主题，这样我就可以在下游设置一些窗口并执行计算。下面是我的代码：
package KafkaAsSource
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.datastream.DataStream
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
i
浏览 3提问于2021-12-26得票数 2
回答已采纳
我已经在IDE (Intellij)和独立集群中运行了我的Flink程序(在Scala中)。在我的程序中，我打印出运行时间。在IDE中运行时，我得到了20多个，在独立集群中运行的是74s。我非常困惑，为什么在一个具有10个并行性的集群中运行这么多次。我试图比较Flink性能与火花基本上。有人能帮我弄清楚怎么会发生这种事吗？谢谢。
添加了：
我的程序示例可以找到。此特定代码在控制台中打印的时间如下所示：
Flink (IDE，Windows)：2550 IDE
Flink (独立集群，WSL2 Ubuntu)：9076
我已经更改的Flink独立集群的配置：
jobmanag
浏览 3提问于2021-07-11得票数 0
1回答
我很好奇是否可以设置fadeOut(10, function(){...}); --10毫秒的持续时间。我已经查看了jQuery官方网站，但我找不到答案，这个值可以是任何非负数或一些限制(您输入10(ms)，但实际上是100ms)。另外，可以使用零吗？
浏览 3提问于2012-09-05得票数 0
回答已采纳
我已经创建了flink应用程序，它接受字符串的数据流，并使用Kafka接收它。字符串的数据流是简单字符串fromCollection。
List<String> listOfStrings = new ArrayList<>();
listOfStrings.add("testkafka1");
listOfStrings.add("testkafka2");
listOfStrings.add("testkafka3");
listOfStrings.add("testkafka4");
DataStr
浏览 30提问于2020-02-11得票数 0
我在读书
上面写着：
启用检查点:如果启用了检查点，则Flink消费者将在检查点完成时提交存储在检查点状态中的偏移量。这确保了Kafka代理中提交的偏移量与检查点状态中的偏移量一致。用户可以通过调用使用者上的setCommitOffsetsOnCheckpoints(布尔值)方法来选择禁用或启用偏移提交(默认情况下，行为为真)。请注意，在此场景中，属性中的自动周期性偏移提交设置将被完全忽略。
如果我在10秒间隔内启用检查点，也可以将have setCommitOffsetsOnCheckpoints设置为true，并在Kafka使用者属性中设置enable.auto.commit=true和
浏览 0提问于2021-06-25得票数 0
回答已采纳
我看到一些奇怪的行为。我使用Flink 1.12编写了一些Flink处理器，并尝试让它们在Amazon EMR上工作。但是，Amazon EMR目前仅支持Flink 1.11.2。当我去降级时，我莫名其妙地发现水印不再传播了。 主题上只有一个分区，并行度设置为1。我是不是遗漏了什么？我觉得我快要疯了。 以下是Flink 1.12的输出： Topic:input partitions=1
(name=input, internal=false, partitions=(partition=0, leader=mycomputer:9092 (id: 0 rack: null), replica
浏览 39提问于2021-04-14得票数 1
回答已采纳
我正在使用我的VSTO向MS Project添加大约3000个任务。问题是它增加得非常慢-大约28-30分钟(有时甚至更多)。
我正在确保禁用屏幕更新使用: Globals.ThisAddin.Application.ScreenUpdating = false；
是否有已知的解决方法来解决此问题，或者这只是VSTO的限制？
浏览 0提问于2012-12-19得票数 0
回答已采纳
1回答
我正在使用来自Kafka源码的数据流，用于我的flink作业，一次阅读50个主题，如下所示： FlinkKafkaConsumer<GenericRecord> kafkaConsumer = new FlinkKafkaConsumer<GenericRecord>(
Pattern.compile("TOPIC_NAME[1-50].stream"), // getting data stream from all topics
<DeserializationSchema>, //usi
浏览 31提问于2021-04-10得票数 0
2回答
我有两个流： topicA -> processingA -> topicB -> processingB -> topicC 登录我的应用程序时，我注意到在将processingA的输出发送到topicB和从topicB为processingB挑选消息之间，每次花费的时间超过100ms (相当于150ms)。它可能不是很多，但它会积累起来，最后相当简单的级联处理几乎只需要几秒钟。 我可以调优kafka使这些延迟尽可能接近于零吗？哪些配置参数对这些延迟有影响？ 我有大部分的默认配置。是不是commit.interval.ms导致了延迟？我已经将其从更高的默认值更改为.
浏览 14提问于2019-06-11得票数 5
当我用KeyedStream运行一个简单的flink应用程序时，我观察到事件的时间延迟从0到100ms不等。下面是程序 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<Long> source = env.addSource(new SourceFunction<Long>() {
public void run(SourceContext<Long> sourceContext) th
浏览 53提问于2019-06-30得票数 0
回答已采纳
我已经编写了一个简单的示例来接收表，但是即使在实现了AppendTableSink接口之后，也可以在Apache中获得这个异常。
package com.cc.flink.functionUtils;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import org.apache.flink.api.common.functions.IterationRuntime
浏览 1提问于2017-08-24得票数 0
我正在尝试理解在zookeeper升级期间flink作业管理器的行为是否是预期的。 我在kubernetes中运行flink 1.11.2，使用zookeeper服务器3.5.4-beta。当我进行zookeeper升级时，zookeeper有20秒的停机时间。我希望flink作业在这20秒内重新启动，或者在日志中显示一些警告。相反，我看到整个flink JVM崩溃(后来pod重启)。 我以为flink会在内部重试zookeeper请求，所以我很惊讶它崩溃了。这是意料之中的，还是说这是一个bug？ 从日志中 org.apache.flink.shaded.zookeeper3.org.apa
浏览 75提问于2021-02-09得票数 0
回答已采纳
我正在开发一个应用程序，它将一些文件上传到s3桶，稍后，从s3桶中读取文件，并将其推送到数据库。
我使用Flink 1.4.2和fs.s3a API从s3桶读取和写入文件。
上传文件到s3桶没有任何问题，但是当我的应用程序的第二阶段--从s3读取这些上传的文件--启动时，我的应用程序会抛出错误
Caused by: java.io.InterruptedIOException: Reopen at position 0 on s3a://myfilepath/a/b/d/4: org.apache.flink.fs.s3hadoop.shaded.com.amazonaws.SdkClient
浏览 0提问于2019-06-21得票数 1
我有一个Flink作业，它在Map操作符中有很大的状态。我们正在采取保存点，它有大约80 S3的存储到AWS S3。对于这个操作符，我们有大约100个并行性。但是，当我们从保存点恢复时，总是会出现如下的异常
原因是: s3a://xxxx/UbfK/flink/savepoints/logjoin/savepoint-a9600e-39fd2cc07076/f9a31490-461a-42f3-88be-ec169145c35f :未能在s3a://adshonor-data-cube-test-apse1/UbfK/flink/savepoints/logjoin/savepoint-a9
浏览 1提问于2019-01-10得票数 1
我有一个无界流的flink(v1.13.3)应用程序(使用kafka)。我的一条小溪很忙。而且繁忙值(我可以在UI上看到)随着时间的推移而增加。当我刚启动flink应用程序时：
sum by(task_name) (flink_taskmanager_job_task_busyTimeMsPerSecond{job="Flink", task_name="MyProcessFunction"})返回300-450 ms five++ hours sum by(task_name) (flink_taskmanager_job_task_busyTimeMsPer
浏览 18提问于2022-01-12得票数 1
回答已采纳
我已经运行了独立的HA集群，它每分钟对我的流设置检查点，但是我在state.backend.fs.checkpointdir目录中没有看到它们。
flink-conf.yaml
jobmanager.heap.mb: 1024
jobmanager.web.port: 8081
taskmanager.data.port: 6121
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 4
taskmanager.memory.preallocate: false
taskmanager.tmp.dirs: /flink/data/
浏览 2提问于2016-04-15得票数 3
回答已采纳
在我将一些遗留代码从win32移植到win64之后，在讨论了删除警告“可能丢失数据”()的最佳策略之后。我将在代码中用size_t替换许多size_t。
但是，我的代码在性能方面是至关重要的(我甚至不能在Debug...too慢速运行它)。
我做了一个快速的基准测试：
#include "stdafx.h"
#include <iostream>
#include <chrono>
#include <string>
template<typename T> void testSpeed()
{
auto start
浏览 0提问于2016-05-03得票数 4
回答已采纳
1回答
我有一个flink作业(scala)，它基本上是从kafka主题(1.0)读取数据(1分钟的事件时间滚动窗口，使用折叠函数，我知道这个函数不推荐，但比聚合函数更容易实现)，并将结果写入两个不同的kafka主题。
问题是--当我使用FS状态后端时，一切都运行顺利，检查点需要1-2秒，平均状态大小为200 mb --也就是说，直到州大小增加(例如，缩小差距)。
我想我会尝试用于检查点的rocksdb (通过hdfs)，但是吞吐量明显低于fs状态后端。据我所知，在使用fs状态后端时，flink不需要对每个状态访问进行ser/反序列化，因为状态保存在内存中(堆)，rocks db会这样做，我猜这就是导
浏览 1提问于2018-11-11得票数 3
3回答
与在函数使用前声明变量相比，在函数开始时对变量进行标注是否具有性能优势？
我在MS Access 2003中使用VBA。
例如，
Function f(y As Long) As Long
Dim x As Long
If y <> 0 Then
x = 1000000
End If
End Function
诗句
Function f(y As Long) As Long
If y <> 0 Then
Dim x As Long
x = 100000
浏览 0提问于2009-03-19得票数 2
回答已采纳
我已经在HA模式中配置了Flink，正如前面提到的
我想测试容错性，因此我做了以下工作：
用2 JobManagers和1 TaskManager设置Flink集群
在任务管理器上启动流作业
杀死活动作业管理器(以模拟崩溃)
领导人选举正在按预期进行。
但是，注意到任务管理器重新连接到新的职务管理器。它只是尝试每10秒重新连接到前一位领导者。
粘贴任务管理器日志：
2018-07-25 19:46:08,508 INFO org.apache.flink.runtime.taskexecutor.TaskManagerConfiguration - Messag
浏览 0提问于2018-07-25得票数 4
我从我的子组件中得到ExpressionChangedAfterItHasBeenCheckedError错误。我试图在ngOnchanges中添加detectChanges()方法，但它不起作用。我是angular的新手。我也尝试了其他问题的解决方案，但对我不起作用。 ngOnInit() {
if (this.IsInGrid === false) {
this.duration = this.Duration * 60 * 60 * 1000;
this.startDate = this.StartDate;
浏览 13提问于2021-01-07得票数 0
回答已采纳
我正在使用Flink 1.13.1，并试图用10k记录的RPS(每秒速率)将数据写入kafka。我有一个由30个经纪人组成的kafka集群，我的flink工作做了一个过滤器操作员，只将数据汇到kafka。下面是我的生产者设置，最初我有5个接收器主题分区，但现在10个，我仍然得到同样的问题。另外，我尝试将request.timeout.ms设置为1分钟，而不是卡夫卡默认的30秒，但仍然得到了120001 ms has passed since batch creation。由于此错误，检查点失败。检查点大小仅为107 is，因为flink只向kafka提交偏移。作业并行性为36。这是纳卡的属性和
浏览 23提问于2022-04-11得票数 1
我开始在Java的ApacheFlink中工作。
我的目标是在一分钟的时间窗口中使用一个ApacheKafka主题，这将应用非常基本的信息，并将每个窗口的结果记录在一个文件中。
到目前为止，我成功地将文本转换简化应用于我接收的内容，我应该使用apply或process来写入文件，但窗口的结果我有点迷失。
到目前为止，这是我的代码
package myflink;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunctio
浏览 17提问于2019-11-08得票数 0
1回答
activemq性能/延迟
、、、、
我正在使用jdbc存储测试activemq，虽然我知道这不是最有效的方法，但我看到了非常奇怪的延迟。
代码基本上是用3k消息填充队列，然后单个使用者使用所有消息。消息是持久的，确认模式是AUTO_ACKNOWLEDGE。我还禁用了alwaysSessionAsync和dispatchAsync。
问题是消费速度变化很大。以下是使用100条消息所需的时间(30倍才能全部使用)：
2014-07-16 01:08:50,171 'consumer': 45.1 ms
2014-07-16 01:08:50,207 'consumer': 35.5 ms
2014
浏览 3提问于2014-07-16得票数 0
我只在一个具有Flink的节点上运行Parallelism = 1，以便将其性能与单线程应用程序进行比较。我想知道Flink是否仍然在使用Shuffle，尽管它不是并行运行的。因此，如果执行以下命令：
var counts = text.flatMap { _.toLowerCase.split("\\W+") filter { _.nonEmpty } }
.map { (_, 1) }
.groupBy(0)
.sum(1)
Shuffle会在groupBy之前使用吗？有什么办法检查这个吗？
(在交互式Scala Shell的输出中有一个FlatMap、Map、
浏览 3提问于2015-12-13得票数 2
回答已采纳
1回答
由于我使用RocksDB作为我的Flink工作的状态后端，并且正在配置这个状态后端的参数，我在的这一页中看到，我有两个选项可以保留我的计时器(rocksDB或堆)，我已经阅读了解释，但仍然忽略了这一部分的含义：
“然而，在RocksDB中维护计时器可能会带来一定的成本，这就是为什么Flink提供了在JVM堆上存储计时器的选项，即使RocksDB用于存储其他状态。当计时器数量较少时，基于堆的计时器可以具有更好的性能。”
他们在这里提到的这是什么样的成本(延迟)？
什么意味着更小数量的定时器(可以用这个数字来衡量，堆中允许的最大定时器数量是多少)？
浏览 0提问于2020-09-18得票数 0
当我在Kubernetes上运行Flink 1.8 WordCount示例作业时，我注意到了一个行为。有时，TaskManager pod会获得OOMKilled并重新启动(暂时不需要担心)，但是整个工作都失败了，JobManager日志显示了The assigned slot XXX was removed。
我的问题是，为什么整个工作都失败了？我是否可以配置Flink，使作业更能容忍短暂的TaskManager故障？
浏览 0提问于2019-08-30得票数 1
回答已采纳
我正在遵循上关于如何添加资源文件的说明，但我肯定做错了什么，因为它不起作用。
我创建了一个新的通用应用程序，检查两个Package.appxmanifest文件中的默认语言是否设置为en-US。
我在字符串/en-US中创建了一个Resources.resw文件。该文件有三个值：
Greeting.Text = Hello
Greeting.Width = 20
Farewell = Goodbye
然后，在MainPage.xaml中，我获得了以下内容：
<Grid Background="{ThemeResource ApplicationPageBackgroundThem
浏览 0提问于2015-01-08得票数 0
我正在设置一个使用ZooKeeper和3个TaskManagers的JobManager HA集群。我在kubernetes中这样做，并且需要JM通过全主机名(hostname -f而不是hostname)来寻址to，因为它们是在有状态集中。 目前，似乎TMs将他们的地址报告给JM只是作为nostname… 2019-04-12 08:58:32,426 WARN akka.remote.ReliableDeliverySupervisor - Association with remote system [akka.tcp://flink-m
浏览 141提问于2019-04-13得票数 0
目前，我们正在努力弄清楚，如何有效地与Flink合作，而且我们仍在努力理解每件事。
我们正在一个独立的集群上运行大约60个非常轻量级的作业，这在一个普通的EC2实例上运行得很好。但是，一旦我启用了带有本地RocksDB状态后端的检查点，集群就会以一种意想不到的方式运行，停止作业，尝试重新启动它们，只丢弃所有这些作业，并将错误日志保持为空。在此之后，Flink中没有任何作业或jars的痕迹。我知道，对于每个作业，都保留了全部JobManager内存的一小部分，同样，对于每个作业，在同一台机器上实例化了一个本地RocksDB，但我假设它们同样轻量级，不需要太多内存/CPU容量。仅仅添加行env.e
浏览 3提问于2020-03-10得票数 0
2回答
当要序列化时，我们需要静态地输入/声明变量的数据类型吗？在序列化时，它是否提高了性能？
我正在创建一个用于批处理的flink项目。我编写了一个自定义输入读取器，它将通过jdbc从数据库中读取数据，并以Hashmap的形式返回一条记录，其中包含列名和值。我知道Flink序列化每个子任务之间的对象。所以，我的问题是，由于我有hashmap where对象类型的值，它对序列化性能有影响吗？
Flink默认使用kyro序列化程序
浏览 9提问于2020-05-07得票数 0
回答已采纳
我有一个5节点的Cassandra集群，每个节点上有大约650 GB的数据，涉及复制因子3。我最近开始在/var/log/cassandra/system.log中看到以下错误。
信息自述阶段-5 2017-10-17 17:06:07,887 NoSpamLogger.java:91 -已达到最大内存使用量(1.000GiB)，无法分配1.000MiB的区块
我曾尝试增加file_cache_size_in_mb，但很快就会出现同样的错误。我曾尝试将此参数设置为2 go，但无济于事。
当错误发生时，CPU利用率飙升，读取延迟非常不稳定。我看到这种激增大约每一个半小时出现一次。请注意下面列表中
浏览 0提问于2017-10-18得票数 10
回答已采纳
我正在尝试使一个kafka主题在Flink SQL CLI客户端中显示为一个表。 下面是我调用sql-client.sh的方法： ./bin/sql-client.sh embedded -l /Users/Behzad.Pirvali/Tools/Data/flink-1.7.2/lib -d ./conf/sql-client-config-1.yaml 我得到了以下异常： Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table fact
浏览 40提问于2019-05-31得票数 1
首先，我是Flink的一个完全的新手。我已经在Windows上安装了Apache。我开始用开始-集群。蝙蝠。印出来
使用一个JobManager进程和一个TaskManager进程启动本地集群。您可以通过生成的shell窗口中的CTRL终止进程。默认情况下，在上使用Web接口。
不管怎么说，当我提交这份工作的时候，我有一堆信息：
调试org.apache.flink.runtime.rest.RestClient -接收到的响应{“状态”：{“id”：“IN_PROGRESS”}}。
在的web日志中，我看到：
2019年-02-15 16:04:23.571 flink-a
浏览 1提问于2019-02-15得票数 1
我是flink的新手，我部署了我的flink应用程序，它基本上执行简单的模式匹配。它部署在库伯奈特斯集群，拥有1 JM和6 TM。我每10分钟发送一次4.4k和200k大小的消息，并执行负载测试。我添加了重新启动策略和检查指向，如下所示，我没有显式地使用代码中的任何状态，因为不需要它。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// start a checkpoint every 1000 ms
env.enableCheckpointing(inter
浏览 4提问于2020-12-04得票数 0
5回答
打印语句和性能
、、、
我有一份工作需要处理大约10万条记录。
每条记录都会执行许多print语句。这些打印语句对性能有影响吗？
就此而言，行数或注释的数量是否会对性能产生影响？如果可以的话，我甚至想保存一个ms。
浏览 0提问于2009-11-14得票数 2
回答已采纳
我注意到，在使用内存后端时，使用检查点会意外地增加所观察到的延迟。
考虑以下检查点：
2019-02-27 15:35:46,322 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Triggering checkpoint 2 @ 1551281746322 for job a80597b3312f0704beed75397c371bf5.
2019-02-27 15:35:46,326 INFO org.apache.flink.runtime.state.heap.HeapKeyedStateB
浏览 3提问于2019-02-27得票数 2
回答已采纳
背景
我们希望保持Flink操作符的状态，即最后一个n唯一id。当n+1唯一id到达时，我们希望保留它并删除状态中最古老的唯一id。这是为了避免一个不断增长的状态。
我们已经有了一个TTL (过期时间)机制。尺寸限制是我们想要实施的另一个限制。
并不是每个元素都拥有唯一的id。
问题
Flink是否提供了一个API来限制状态中元素的数量？
尝试过的事情
使用MapState和StateTtlConfig生成的TTL/过期机制。
窗口限制已处理元素的数量，但不限制状态中的元素数。
浏览 4提问于2022-04-07得票数 1
回答已采纳
1回答
我的flink作业的一个参数是动态的，我有一个api来获取动态值。是否可以每次都在源端调用接口，根据参数拉取数据？这是正确的方式吗？这会在flink作业中造成任何麻烦吗？
浏览 0提问于2021-05-27得票数 0
1回答
新服务器中的游标性能
、、、
我买了一个新的服务器: HP ProLiant ML310e Gen8 v2 8 GB单存，Intel Xeon E3-1220v3，1 GHz，500 GB SATA 7.5K RPM，Windows 2012 R2 x64，SQL Server Standard 2014 x64，RAID 0
与我的笔记本相比:华硕X200CA 2 GB单存，Intel Celeron双核1.5 GHz，500 GB SATA7.5K RPM，Windows 7终极x64,2014 x64，AHCI
我刚刚比较了这个笔记本，因为与我的旧服务器(旧服务器更快)相比有太多不同。我用我的新服务器设置了很少的配置
浏览 0提问于2015-04-11得票数 1
回答已采纳
2回答
C同时循环未解释的行为
、、、
我试图运行以下代码：
#include <sys/time.h>
#include <stdio.h>
int main()
{
unsigned int ms, oldms = 0,dif;
struct timeval tv;
while(1)
{
gettimeofday(&tv, NULL);
ms=tv.tv_sec;
//printf("%d\n",ms-oldms );
dif=ms-oldms;
if(dif>3)
{
printf("3 seconds up");
浏览 2提问于2015-12-16得票数 5
回答已采纳
我最近无法将任何jars上传到我的Flink集群，该集群在AWS EMR上的YARN下运行。有一个长时间运行的流媒体应用程序已经运行了26天。似乎临时目录已经被删除了，但我真的不认为我删除了它。 在jobmanager.log中： 2019-02-12 22:02:05,156 WARN org.apache.flink.runtime.webmonitor.handlers.JarListHandler - Jar upload dir /tmp/flink-web-94fee1e8-35b9-409f-be97-d86c0f021459/flink-web-upload does
浏览 40提问于2019-02-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
