1回答
我想知道从Flink子任务访问这个单例类的对象的最佳方式是什么，因为在多线程环境中存在一个潜在的单例对象初始化问题。最好是使用synchronized关键字锁定单例类的初始化，还是有更好的方法在Flink运行时实例化单例对象？
浏览 42提问于2018-02-02得票数 0
1回答
在Flink datastream中，假设一个上游操作符驻留在机器/任务管理器m上，那么上游操作符如何知道承载下游操作符的机器(任务管理器) m’。在JobManager对作业子/任务(操作员)的初始调度过程中，是否建立了下游/上游运算符之间的数据流路径，并在应用程序生存期内固定了这样的数据流路径？更一般地，考虑支持动态消息传递和数据流不固定或未预定义的Flink有状态函数，并给出一个带
浏览 6提问于2020-08-23得票数 0
回答已采纳
阅读Flink教程示例时，我想知道Flink如何将DAG节点分配给Flink集群中的不同任务槽。任何指针都将非常受欢迎。
浏览 37提问于2019-02-14得票数 0
我们有一个大约30个操作员的flink工作。当我们以12个flink的并行度运行这个作业时，总共输出400.000个指标，这对于我们的指标平台来说太多了，无法很好地处理。在查看指标类型时，这似乎不是一个bug或类似的东西。 只是当有许多操作员和许多任务管理器和任务槽时，指标的数量经常会重复，以至于达到400.000 (也许作业重新启动也会重复指标的数量？)这是我用于我们的指标的配置： metrics.reporters: graphite
metrics.reporter.graphite.class:
浏览 22提问于2019-01-16得票数 1
在flink web UI中，我可以获得每种并行性的度量标准，0_filter_numberOfRecords in 9_filter_numberOfRecords
浏览 0提问于2019-03-06得票数 2
回答已采纳
我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个有8个分区的分区主题。我在这个主题中生成了1000条消息，分布在8个分区中。我的笔记本电脑中有8个核心，所以我有8个子任务(默认情况下，并行度=核心数量)。在执行Eclipse中的代码后，我打开了Flink-UI，我发现一些子任务没有接收到任何记录(空闲)。我期望所有8个子任务都被利
浏览 0提问于2020-01-23得票数 1
2回答
在ARC中获取泄漏
、、、
我有一个singleton对象，它是我的应用程序的一个模块，在此模块中创建的所有对象与任何其他module.My应用程序没有任何关系。创建此singleton对象后，此对象进一步创建它的子对象，这些子对象与我的应用程序中除此module.So之外的其他对象没有任何关系。在此模块任务结束后，我将此模块对象设置为nil.But两个<
浏览 3提问于2012-12-23得票数 0
回答已采纳
2回答
如何将Flink应用程序配置为只启动/重新启动崩溃的pods/(Sub)任务，而不是重新启动整个作业，即重新启动作业/管道中的所有任务/子任务，包括健康的任务。这是没有意义的，并认为没有必要尝试重新启动健康的任务和崩溃的任务。流处理应用程序处理来自Kafka的消息，并将输出写回Kafka，并在Flink 1.13.5和Kubernetes资源管理器上运行--使用Lyft的Kub
浏览 4提问于2022-02-11得票数 0
现在，当任务管理器重新启动时，我需要将状态和检查点存储在文件系统中，所有演示都应该使用“HDFS ://namenode:4000/.”，但是现在我没有HDFS集群，我的Apache Flink运行在kubernetes集群中，如何在文件系统中存储我的检查点？如何配置flink以使用NFS存储检查点和状态？我从实习生那里搜索，找不到关于这个解决方案的任何故事。
浏览 5提问于2020-04-09得票数 0
回答已采纳
在我的flink工作中，我像这样使用Broadcast State：BroadcastStream<String> configBroadcastStream(configBroadcastStream).process(new BroadcastFunction(configStateDescriptor));
我想知道同一个运算符(代码如下所示)的不同子任务访问的广播状态是否是隔离的
浏览 23提问于2020-03-11得票数 0
回答已采纳
我们试图迁移到Flink 1.11，从1.10中的保存点恢复作业。作业代码没有更改，只将依赖项的Flink版本更新为1.11 (在SBT中，我们使用Scala)并重新构建jar。:522) at org.apache.flink.runtime.taskmanager.Task.run'
at org.ap
浏览 8提问于2020-09-08得票数 0
在Flink中，像' flatMap '，'map‘之类的运算符被称为任务，如果我将flatMap的并行度设置为30，那么这个任务有30个SubTasks。现在，如果我只有一个插槽，会不会导致在一个插槽中有多个线程？或者每个插槽仍然只有一个线程？编辑：
上面不是一个合适的例子。假设在作业中我有运算符flatMap和
浏览 1提问于2020-09-11得票数 0
我在Docker上运行了Flink 1.2.1，任务管理器作为Docker群的一部分分布在不同的VM上。我的问题是:如何创建保存点？文档假设您正在使用命令行客户端，但是如果我在容器中运行Flink</em
浏览 0提问于2017-10-22得票数 1
1回答
我希望将大量数据加载到Flinks状态后端(RocksDB)中，并使用该数据处理事件(例如，在CoProcessFunction中)。数据比TaskManager的内存大得多。因此，我希望将频繁键的数据本地保存在CoProcessFunction中。
但是，状态后端中的总数据比TaskManager的内存大，因此不可能为每个键在本地保持相应的数据块与状态后端之间的数据块。为了解决这个问题，我需要知道SubTask的当前内存使用情况，以决定是否可以在本地保存密钥的数据块，
浏览 1提问于2022-09-30得票数 0
回答已采纳
5回答
快速提问-原创{
public对我来说，您可以使用以下任意一种简单的设计模式来完成相同的任务：public class Singleton2 public static readonly Singleton2Instance = new Singleton2(); private
浏览 0提问于2012-02-26得票数 2
回答已采纳
我有一个运行在128个任务管理器上的parallelism=256操作员。每次当我得到一个检查点失败，它发生在这个操作符的相同子任务，例如，它总是子任务129被卡住并阻塞检查点。我想通过检查子任务129在其上运行的任务管理器的日志来了解该子任务发生了什么。在Flink中有没有办法将子任务id映射到相应的任务管理器？
浏览 68提问于2019-05-09得票数 2
class HelperSingleton { return singleton; }我的意思是，
浏览 3提问于2013-05-15得票数 0
回答已采纳
1回答
由于针对不同所有者的操作符状态可能处于不同的子任务中，而且这些子任务的目的是独立操作，所以我想知道共享状态的最佳方式是什么。我能够想到的一个解决方案是从子任务的侧输出创建一个键控数据存储区，并将其发送给正确的所有者，并从原始所有者处清除状态。从侧输出中创建一个datastream，并将其发送回相同的操作符，但可能存在与NewOwner状态不同的子任务。在子任务中可
浏览 1提问于2020-02-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
