腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
可以
在
flink
中
定义
单个
流水线
的
cpu
和
内存
限制
?
是否
可以
定义
管道在运行时
可以
使用
的
cpu
和
内存
的
最大数量?我正在运行以下mvn命令以将作业提交到
flink
: sudo mvn clean compile exec:java -Dexec.mainClass=pipeline_main_class -Pflink-runner -Dexec.args=" \--project=gcp_project
浏览 47
提问于2021-07-19
得票数 1
1
回答
Flink
中
的
任务管理器相关性
我们需要在
Flink
集群上运行10个作业,其中4个不是
CPU
限制
的
,所以对于它们,我们
可以
有2xcpu任务槽,然而,6个作业是
CPU
限制
的
,它们需要在每个任务管理器上使用大量
的
CPU
,即vpcu/2个插槽我
的
问题是,我如何告诉
Flink
使用x台机器(任务管理器)来完成这项工作,使用y台任务管理器来完成另一项任务。对于
CPU
密集型作业,我
是否</e
浏览 20
提问于2021-07-26
得票数 0
回答已采纳
1
回答
在
Flink
集群上运行
的
Apache光束管道失败
、
我尝试
在
本地部署
的
Flink
Docker集群上部署一个Apache光束管道。:108)Pipeline p= Pipeline.create(options); 并且
在<
浏览 80
提问于2020-08-20
得票数 1
2
回答
Apache :
限制
TaskManager
中
CPU
的
数量
、
、
在
Spark
中
,有一些配置允许您
限制
在
每个从服务器中使用
的
CPU
数量: taskmanager.n
浏览 2
提问于2017-06-23
得票数 3
1
回答
库伯内特斯:吊舱
和
cpu
限制
为了解决这个问题,我们假设如下: 我
的
库伯内特斯集群上有12个
CPU
,这12个
CPU
分布
在
3个节点上。I
在
集群上运行
单个
pod,而不指定任何
CPU
资源信息。在这种情况下,默认
的
CPU
请求是1亿,我相信(10%
的
一个
CPU
)。
在
部署
中
,副本硬编码为1,未
定义
自动标号。据我所知,这意味着单荚只能在3个集群节点中
的
一个上运行,因为<e
浏览 1
提问于2020-02-05
得票数 3
回答已采纳
1
回答
纱线容器如何使用分配
的
CPU
?
、
、
我很难理解纱线容器是如何受限于分配
的
资源
的
,尤其是
CPU
。据我所知,YARN会监控
内存
使用情况,如果容器超出了
限制
,它会发送一个kill信号。我想知道
CPU
调度到底是如何工作<e
浏览 2
提问于2021-12-02
得票数 0
2
回答
内存
和
内存
配置
中
的
Flink
任务管理器
、
我们使用
Flink
流在
单个
集群上运行几个作业。我们
的
工作是使用rocksDB来保持状态。集群配置为
在
3个单独
的
VM上运行
单个
Jobmanager
和
3个Taskmanager。每个TM被配置为使用14 of
的
RAM运行。JM被配置为运行1GB。 我们遇到了两个与
内存
相关
的
问题:-当运行具有8GB堆分配
的
任务管理器时,TM耗尽了堆
内存
,而堆出现了
内存
异常。-尽管如此,
浏览 0
提问于2018-06-12
得票数 3
2
回答
将
Flink
LocalEnvironment用于生产
我想了解LocalExecutionEnvironment
的
局限性,以及它
是否
可以
在生产中运行? 感谢任何帮助/洞察力。谢谢
浏览 26
提问于2019-12-24
得票数 1
回答已采纳
1
回答
从时间窗口到接收器管道之间
的
操作顺序
、
假设我有一个这样
的
flink
管道:kafka_source -> maps/filters/keyBy/timewindow(1 minute) -> sinkCassandra我想要做
的
是有效地根据数据存储
中
的
fli
浏览 0
提问于2020-03-19
得票数 0
1
回答
如何在云运行GKE实例
中
配置不同
的
CPU
/
内存
限制
和
请求?
、
、
在
Cloud Run for GKE
中
,我只能看到一个
定义
CPU
/
内存
分配
的
参数。它将其应用于请求和
限制
。
是否
可以
单独配置
CPU
/
内存
请求和
限制
?
浏览 0
提问于2020-02-06
得票数 0
1
回答
Docker 17.06-ce共享主机资源
的
默认容器
内存
限制
我有一个资源为8核/ 16 GB RAM
的
主机。我们使用cgroup为自
定义
应用程序分配
CPU
和
memory。我们试图
在
自
定义
应用程序
和
停靠器之间创建一个静态分区资源。例如,我们正尝试分配以下各项:3
CPU
cores / 6 GB RAM --> custom_app_1 the remaining问题是我如何为我们<
浏览 2
提问于2017-09-25
得票数 11
回答已采纳
1
回答
在
现代GPU上,每个线程有多少条同时读取
的
指令?
、
、
、
在
现代GPU (比方说,开普勒)上,如果我从
单个
线程有4次独立
的
全局
内存
读取(读取之间没有依赖关系),那么所有4次读取
是否
都是一次
流水线
操作,这样我只需支付
单个
全局
内存
读取
的
延迟代价?那么来自共享
内存
的
数据呢?一次
流水线
中
可以
有多少读操作,这是不是有记录在案?
浏览 0
提问于2016-06-20
得票数 1
1
回答
单核
cpu
多线程
的
意义
、
我曾经认为唯一应该使用多线程
的
场合是需要IO处理
的
时候。the process with more threads are given more
CPU
time. 这就是为什么即使是
在
单核上,多线程也能帮助提高性能?
浏览 6
提问于2013-06-07
得票数 0
回答已采纳
2
回答
Hyper-V、VMware
和
自
定义
电源管理
、
、
、
在
一个涉及虚拟化
和
电源管理
的
研究项目中,我正在测试各种资源分配方案
和
自
定义
电源管理算法。我感兴趣
的
是将虚拟机隔离为只使用某个特定
的
CPU
核心。我
在
考虑使用Windows 2008R2
和
Hyper-V,但Hyper-V不允许为虚拟机设置
CPU
亲和性,
是否
可以
确保运行
CPU
密集型任务
的
虚拟机仅使用一个
CPU
核心(将
浏览 7
提问于2010-03-04
得票数 0
1
回答
限制
单个
用户
的
docker容器
的
资源
、
、
、
对于docker容器,您
可以
在
docker run上设置
CPU
限制
(例如--
cpu
-quota --
cpu
-shares)
和
内存
限制
(--memory)。还
可以
通过--ulimit为用户设置全局nproc
限制
。 假设两个不同
的
用户
在
一个容器
中
运行工作负载。有没有办法只
在
一个特定
的
docker容器(而不是系统全局
浏览 0
提问于2017-05-17
得票数 0
1
回答
计算
CPU
周期及其每秒处理位数
我想知道给定
的
CPU
可以
处理
的
位数,以及我应该如何计算这个特定值。鉴于我有64位
CPU
,它
的
特点是2.3 Ghz。每秒处理
的
位数应如下所示:是这么简单,还是我需要考虑其他变量?
浏览 1
提问于2017-09-02
得票数 0
1
回答
如何使
Flink
作业
在
大状态下完成
我们正在运行一个
Flink
集群来计算历史to级
的
流数据。数据计算有一个巨大
的
状态,我们使用键控状态-值
和
映射状态与RocksDb后端。
在
作业计算
的
某个时刻,作业绩效开始下降,投入
和
产出率下降到几乎为0。在这一点上,
可以
在
日志中看到像'Communication with Taskmanager X timeout error‘这样
的
异常,但是作业甚至在此之前就已经被破坏了。然而,这并不能提供稳定
的<
浏览 31
提问于2019-08-26
得票数 0
1
回答
“
内存
操作数
的
对齐”如何帮助MIPS被
流水线
化?
、
“
内存
操作数
的
对齐”如何帮助MIPS被
流水线
化? 我想我理解一个数据传输指令不需要两个或多个数据
内存
访问权限。但是,
浏览 1
提问于2014-05-07
得票数 7
1
回答
Java中有多少类型
的
内存
屏障可用?
、
、
、
例如,
在
标准
和
中
,6类型
的
内存
屏障: 这些指令决定编译器
可以
重新排序指令
的
方向,以及需要插入哪些处理器指令来
限制
处理器
流水线
中
的</e
浏览 2
提问于2014-02-27
得票数 4
1
回答
FLink
1.3
在
纱线上运行一个任务--如何设置每个TaskManager
的
任务槽数
正如描述
的
那样,我
在
Yarn上运行一个
flink
作业。使用上述参数-yn,我
可以
设置纱线节点/任务管理器
的
数量。但是,我想知道
是否
可以
设置每个任务管理器
的
任务插槽数。当我使用parallelsim (-p)参数时,它只设置整体并行性。任务槽
的
数量是通过将该值除以提供
的
任务管理器
的
数量来
浏览 0
提问于2018-05-04
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
加速Flink布局,Pinterest的自助式故障诊断工具实践
官宣:Apache Flink 1.14.0 发布
百亿条日志实时处理,为什么要用Flink?
详解 Flink 容器化环境下的 OOM Killed
Flink 使用 RocksDB 和 Gemini 的性能对比实验
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券