当使用joinStream连接两个流时，我不能设置joinStream的并行度，它总是为1 aStream.assignTimestampsAndWatermarks(new AWatermarks(有没有办法设置JoinStream的并行度？
浏览 15提问于2020-12-07得票数 0
我计划了一个从Apache读取的应用程序，经过(可能耗时的)处理后，将数据保存到数据库中。我的例子是消息，而不是流，但为了可伸缩性，我正在考虑将其插入Spark或Flink，但无法理解这些扩展:我的应用程序，当Spark/Flink的一部分读取了Kafka的一些数据，然后退出或继续阅读吗？那么，Spark/Flink将如何决定他们必须生成更多的我的</e
浏览 4提问于2017-09-20得票数 0
回答已采纳
我在跟踪这份文件
taskmanager.numberOfTaskSlots: 4从Flink仪表板正确读取此属性：
但是，当我提交Flink作业时，所有任务都与1具有并行
浏览 2提问于2022-01-18得票数 0
我正在一个独立的集群中工作。所有服务器都可以运行taskmanager.sh。我的集群是异构的，具有不同的核心计数和内存。我运行的代码()是一个python单线程操作。我希望为每个服务器设置不同的任务槽数。如何让flink为不同的服务器运行不同的插槽？我还希望这一声明：
A Flink c
浏览 5提问于2019-10-08得票数 0
1回答
我从我的.jar文件运行多个作业。我想在我的工作之间共享状态。但是所有输入在每个作业中都会消耗(来自kafka)，并生成重复的输出。我看到了flink面板。所有的工作‘记录发送’是3。我想必须拆分数字到我的工作。 我使用此命令创建作业 bin/flink run app.jar 我怎么才能修复它？
浏览 46提问于2019-09-29得票数 0
回答已采纳
我有一个Flink应用程序部署在AWS动态数据分析。我目前的设置是：Parallelism per KPU=4从Flink UI：计数：从Cloudwatch：计数：
Nu
浏览 22提问于2022-03-26得票数 1
1回答
输入代码hereNeed，使用flink聚合kafka stream中的数据值，然后输出一个新的主题。
聚合应该在eventtime发生，而不是process time，这意味着数据对象中的时间戳。遵循Flink教程中的示例，使用TumblingEventTimeWindow，但根本不调用聚合getResult方法。import org.apache.flink.api.java.utils.ParameterToo
浏览 1提问于2019-08-06得票数 0
我通过以下方式启动了Flink数据流作业 val env = StreamExecutionEnvironment.getExecutionEnvironmentenv.execute() 我想控制与任务管理器编号相关的env并行度，就像上面的代码一样。或任何解决方法来设置</e
浏览 32提问于2021-06-17得票数 0
回答已采纳
我有以下设置：Flink version: 1.122 Task Manager parallelism.default: 2 taskmanager.numberOfTaskSlots2900m res
浏览 9提问于2021-06-02得票数 0
回答已采纳
我使用的是Flink 1.15.1和JUnit5。我想知道从中改编的下面的集成测试是如何工作的，而不包含flink-test-utils依赖项和MiniClusterWithClientResource静态实例。;import org.junit.jupiter.api.Test依赖项和MiniClusterWithClientReso
浏览 38提问于2022-08-09得票数 0
回答已采纳
如果我想在本地运行一个Flink应用程序，直接从Intellij内部运行，但我需要指定配置params (比如fs.hdfs.hdfssite来设置S3访问)，那么除了ExecutionEnvironment.createLocalEnvironment我可以在我的项目中有一个Flink配置并指向本地应用程序吗？
这样做合适吗？或者，您会设置IDE将应用程序提交到真正的本地Flink实例吗？
浏览 3提问于2016-06-10得票数 8
回答已采纳
1回答
我的目标是建立一个高吞吐量集群，使用Kafka作为源，使用Flink作为流处理引擎。这就是我所做的。主节点上的slaves文件如下所示：localhost<&#
浏览 7提问于2015-08-28得票数 9
回答已采纳
但是当我检查UI中的作业日志时会发现一个不同的错误，# It is not recommended to set bo
浏览 25提问于2020-03-10得票数 2
回答已采纳
3回答
我们使用apache flink进行流处理。文档说，flink基于定义的操作(对流数据的转换链)生成执行图/DAG。我还可以在UI门户上看到DAG表示。
我有点好奇如何在幕后做到这一点。有没有为flink做这件事或者由Flink自己实现的可用的库？
浏览 33提问于2020-02-10得票数 0
我在一个由15台机器组成的裸机集群上制作了一个Flink流应用程序的原型。我使用的是yarn-mode，有90个任务槽(15x6)。
该应用程序从单个Kafka主题读取数据。Kafka主题有15个分区，因此我也将源运算符的并行度设置为15。然而，我发现Flink在某些情况下会将2-4个使用者任务实例分配给同一个任务管理器。这会导致某些节点变得网络受限( Kafka主题服务于大量数据，而机器只有1G网卡)和整个数据流中
浏览 0提问于2018-08-10得票数 2
我在kubernetes上运行flink。以下是服务器的配置： server - 1: 4cpu, 16gb RAMserver - 3: 2cpu, 8gb RAM 通过使用上面的配置，如何设置并行度和插槽这是正确的吗？ taskmanager.numberOfTaskSlots: 2
parallelism.default: 3 根据了解，每个cpu将被视为1个插槽。parallelism.de
浏览 38提问于2020-07-23得票数 0
回答已采纳
2回答
我有一个用例，当我们在模式注册表中为主题起诉TopicRecordNameStrategy时，在单个Kafka主题中有多种类型的Avro记录。现在，我不能将此流汇到parquet格式的hdfs/s3中，因为此流包含不同类型的模式记录。因此，我通过应用过滤器并创建不同的流，然后分别下沉每个流，为每种类型过滤不同的记录。;import
浏览 69提问于2020-02-21得票数 1
回答已采纳
我有一个Flink的工作，从卡夫卡(0.9版)，并写信给雷迪斯。我希望监控由Flink应该能够转发的由Kafka发出的records-consumed-rate和records-lag-max度量。当我以1的并行度开始作业时，我看到这个度量很好地发出。但是，如果我使并行度大于1，则不再转发此度量。作业在并行度>1时运行，因为我可以看到条目正在写入Redis。: 7
并行性由streamExecutionEnvironment.setPara
浏览 0提问于2019-04-18得票数 0
，然后用一个.withPartitioner(...)创建组，这样一个组(已知的组比其他组大得多)将被分配到自己的时隙，而其他组将被分配到其余的时隙中。在切换到DataStream时，我看不到任何简单的方法来做同样的事情。如果我深入研究.keyBy(...)，我看到它使用的是一个PartitionTransformation和一个KeyGroupStreamPartitioner，这是很有希望的--但是PartitionTransfo
浏览 3提问于2022-03-04得票数 1
1回答
我的要求是将数据发送到不同的ES接收器(基于数据)。如果数据包含特定信息，将其发送到sink1，否则将其发送到sink2等(基本上是根据数据动态地将其发送到任何一个接收器)。我还想分别为ES sink1、ES sink2、Es sink3等设置并行性。-> Es sink3 (parallelism 2)我可以想出一个解决方案，但有一个中间的卡夫卡主题，我写(topic1
浏览 0提问于2020-10-14得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
