前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[已解决]大数据集群CPU告警问题解决

[已解决]大数据集群CPU告警问题解决

作者头像
Maynor
发布2023-10-31 08:27:39
990
发布2023-10-31 08:27:39
举报

大数据集群CPU告警问题解决

问题

6台机器的 CPU总是连续超过90%

image-20231030161740558
image-20231030161740558

思路

调整yarn资源

常见的是调整容器虚拟 CPU 内核

yarn.nodemanager.resource.cpu-vcores

image-20231030161914731
image-20231030161914731

根据集群具体的CPU核数规划

image-20231030162010414
image-20231030162010414

我另外调整了两个参数

最小容器虚拟 CPU 内核数量

yarn.scheduler.minimum-allocation-vcores

设置为2

原本是1,这样能减少并行的任务数

最大容器虚拟 CPU 内核数量

yarn.scheduler.maximum-allocation-vcores

设置为7

防止CPU超频告警

解决

目前集群稳定运行无告警!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2023-10-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 大数据集群CPU告警问题解决
  • 问题
  • 思路
  • 解决
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档