与多个任务管理器共享相同的密钥
与多个任务管理器共享相同的密钥
提问于 2021-07-19 02:46:22
我有一个运行在400个任务管理器上的flink应用程序。在1小时的窗口时间内，我更频繁地获得相同的密钥，假设1500个唯一密钥中的50个密钥将更频繁地出现。这使得像少数任务管理器单独处理的任务比其他任务管理器更多。如果390个任务管理器每分钟处理50MB，那么其他10个任务管理器每分钟处理10 10。这使得系统变得非常慢。如果负载很高，我们可以与多个任务管理器共享相同的密钥吗？我如何在这里解决我的问题。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-07-20 22:17:41
如果您希望对数据进行更细粒度的分区，则需要找到一种细分当前键的方法。根据您正在做的事情，在聚合到当前键级别(例如)之前添加一个预处理层可能是有意义的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68432123
复制相关文章
相似问题
腾讯云开发者
