作者：vivo 互联网服务器团队- Hao Chan随着互联网业务的快速发展，基础设施的可用性也越来越受到业界的关注。内存发生故障的故障率高、频次多、影响大，这些对于上层业务而言都是不能接受的。...然而硬件故障一直以来都是一种普遍存在的现象，由于硬件故障而造成的损失往往是巨大的。在服务器各个部件中，除硬盘故障以外，内存故障是第二大常见的硬件故障类型。...并且服务器内存的数量众多，vivo的内存数量达到40w+条，内存故障造成的最严重的后果是会直接导致系统崩溃，服务器宕机，这些对于上层业务而言都是不能接受的。...EDAC在vivo服务器全量上线过程以来，累计提前发现450+ case的内存CE问题，服务器的宕机数量明显减少。...对满足报修标准服务器业务进行迁移，并更换相应的内存条，避免因服务器突然宕机导致业务的不稳定，甚至因此造成的损失。
[root@HP249centos scripts]# cat hpraid.sh #!
hp 服务器ilo批量配置脚本 hp的ilo是一个非常方便的带外管理工具，在平时使用的时候，经常有大量的hp服务器需要配置ilo，下面是我下的一个脚本，可以批量的完成hp服务器ilo配置。
随着虚拟化，Redis,BDB内存数据库等应用的普及，现在越来越多的服务器配置了大容量内存，拿DELL的R620来说在配置双路CPU下，其24个内存插槽，支持的内存高达960GB。...对于ECC,REG这些带有纠错功能的内存故障检测是一件很头疼的事情，出现故障，还是可以连续运行几个月甚至几年，但如果运气不好，随时都会挂掉，好在linux中提供了一个edac-utils 内存纠错诊断工具...，可以用来检查服务器内存潜在的故障。...在使用edac-utils 工具之前，需要先了解服务器的硬件架构，以DELL R620为例，(其它如HP DL360P G8，IBM X3650 M4 机型都使用了 E5-2600 系列CPU，C600...即可得出A4内存出现潜在故障，接下来联系供应商进行更换即可。
系统的故障诊断是一个一步一步排除可能疑点最后找到问题所在的过程。今天测者和你一起学习JVM内存的故障排查方法。...用来跟踪Java 内存的使用情况，NMT可以追踪到堆内内存、code区域、通过unsafe.allocateMemory和DirectByteBuffer申请的内存，NMT不能跟踪C代码的申请的堆外内存的情况...，因此有些时候需要配合操作系统级的内存检测工具使用。...、打印虚拟内存映射、打印由呼叫站点聚合的内存使用情况 baseline 创建内存快照，以比较不同时间的内存差异 summary.diff 打印自上次baseline到现在的内存差异，显示汇总信息 detail.diff...，因此可以怀疑存在内存泄露问题。
其实 服务器系统安装通常有两种方法：用服务器引导光盘引导安装（HP Proliant系列服务器100系列设备随机光盘 Support CD 没有引导安装操作系统的功能）、用操作系统光盘加载阵列卡驱动引导安装...此时需要准备一个 USB 软驱（HP 服务器通常只测试过 HP 的 USB 软驱）和一张完全格式化过的软盘。详细步骤如下： 1....从 HP 官方网站上搜索下载与服务器配置的阵列卡型号对应的驱动（下载驱动一定要使用单线程下载来保持程序包的完整性），将该驱动解压到完全格式化过的软盘上，这样驱动盘就制作好了，然后将 USB 软驱连接到服务器上...引导光盘引导安装操作系统 HP300\500\700系列服器随设备都会携带引导光盘（SMARTSTART CD），该光盘可以引导 服务器系统安装。...NOTE: HP Proliant 100 系列服务器随机光盘不能引导安装操作系统。用引导光盘引导安装操作系统，阵列上之前用操作系统划分的分区和数据将会删除。
现象 监控告警某台机器空闲内存低于10%，执行top命令，按内存降序排序，部分输出如下： [root@mysql-slaver ~]# top top - 13:45:43 up 1835 days,...MySQL、Redis，总计约18.2G，其他进程占用内存都比较低，buff/cache 内存中只有3G是有效的，剩余8G内存去哪里？...，和shared占用内存一致，内存都消耗到哪些子目录了？...0,18 0t0 621086290 /run/systemd/sessions/243335.ref [root@MySQL-slaver ~]# 解决 个人觉得可选解决方案如下： 1、服务器上主要服务为...innodb_buffer_pool_size使用内存，释放一部分内存给操作系统，等Redis迁移了再做机器重启处理。
由于BIOS开机密码忘记，所以对这台HP DL380 G6服务器进行BIOS清除操作，刚好看到iLO的选项，就顺手配置了一下，方便以后的管理。 首先，先说明一下iLO（2）。...通过iLO2可以实现硬件级别的服务器远程管理，包括开关机、重启、服务器状态的监控、虚拟KVM等。...目前在惠普3、5、7系列服务器以及刀片服务器上一般都集成了iLO2控制芯片，我们可以通过Web方式远程进行管理，配置过程和管理过程都非常简便，这样我们可以从环境恶劣的机房中解放出来，管理过程轻松简洁。...一般情况下，服务器机身会有标签写有iLO的帐号密码，默认账号一般为Administrator。在这里，因为我的那张标签卡找不到了，所以我就直接新建一个账号好了。 ? ?...至此，iLO2的配置全部完成，以后就可以直接通过WEB的方式来管理服务器了，是不是很方便呢？ （此配置过程均为本人工作实践真实步骤）
HP服务器官方管理工具hpacucli，通过该工具可以查看HP服务器的Raid状态是否正常（如果Raid卡出问题，会影响数据的读写速度），服务器硬盘是否正常（如果硬盘坏掉，严重的情况会丢失数据），服务器电源是否有故障等信息...HP服务器官方管理工具hpasmcli，通过该工具可以很详细查看服务器CPU，内存，处理器，电源等的温度信息。...-9.40-1602.44.rhel6.x86_64.rpm 2)查看服务器CPU，内存，处理器，电源等的温度信息 [[email protected] ~]# hpasmcli -s ‘show’ ...查看类似于help的帮助信息，监控的时候要重点关注 DIMM(内存)、FANS(风扇)、POWERSUPPLY(电源模块)、SERVER(系统)、CPU、TEMP(温度)等信息。...-s ‘show powersupply’ 查看电源模块 [[email protected] ~]# hpasmcli -s ‘show server’ 查看机器型号,序列号,CPU,内存大小
于是我找经理申请亲自来带他，为了帮助小伙子快速成长，我给他分了一个需求，这不需求刚上线几天就出网上问题了后台监控服务发现内存一直在缓慢上升，初步怀疑是内存泄露。
这台HP DL380 G5已经稳定运行了好几年的时间了，Data日渐增多，起初的Disk容量已经不能满足现在的需求，加上Disk已经运行了几万小时，读写能力已经可想而知了。...为了后续服务器更加稳定的运行，索性就直接把硬盘换掉，并且新增3块硬盘，组件raid10。...PS:关于raid5、raid1+0、raid0+1的优缺点在这里就不一一解析了，不太了解的话可以去问问度娘 准备工作： 服务器：惠普 DL380 G5 2U机架式服务器 RAID规范：Raid10...至此，我们这台服务器的RAID就已经创建完成了，重新启动之后安装操作系统即可。
说到服务器硬件监测，用得最多的自然是Zabbix和prometheus，可是对于一般用户来说，部署要求比较高，而且也没有必要。...只是监测服务器硬件故障，并且发生问题的时候，以邮件形式告警，那么服务器自带的功能就足以。 比如戴尔服务器的idrac，配置硬件故障的邮件告警就非常简单。...如上图所示，首先填写邮件发送服务器的地址，其次就是填写发件人邮件地址，然后就是SMTP端口号，采用SSL协议的话，端口号就填写465；最后填写用户名和密码，就是发件人的邮件账号和密码。...收件人邮件地址，当然也需要填写，不然故障报给谁呢？然后可以“发送”测试邮件，一般都是秒收，如果没收到，就检查SMTP配置。...我比较关注系统运行状况和存储，尤其是存储，重要的数据都在硬盘里面呢，其他硬件故障，相对来说，没那么重要，电源坏了，可以换，内存坏个一两条，也无伤大雅。硬盘要是坏了，那就损失大了。
作者：任仲禹 爱可生 DBA 团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。...OOM 是 Redis 最常见的内存故障，它影响很大： 故障发生时，进程并不会退出，能读但无法写入。...Redis 内存消耗划分 ? 简短介绍下 Redis 内存消耗划分情况，为下文诊断提供思路。...检查内存使用情况，发生 OOM 状态时 used_memory ⼀定会大于 maxmemory。 ? 检查数据对象内存和其它内存使用情况如下图： ?...测试⼀段时间后观察 Redis 内存消耗， ? 此时数据库无法写入， ? 检查输出缓冲区各客户端连接内存消耗、输出缓冲区总消耗内存如下， ?
hp 服务器通过串口重定向功能的使用 1 配置ilo2 或者ilo3 2 ssh ilo ip 3 使用命令Textcons(表示文本控制台，不需要配置linux ttys1，如果使用vsp命令，需要配置
在本文中，我将向您展示如何使用新版本的MySQL(5.7+)，以及如何更容易地解决 MySQL内存分配中出现的问题。 故障排除从来都不是一项有趣的任务，尤其是像这种MySQL因为内存不足而崩溃的故障。...有了新版本的MySQL(5.7+)和performance_schema，一切都不同了，我们可以更轻松地对MySQL内存分配进行故障排除。 在本文中，我将向您展示如何使用它。...服务器上运行有其他进程在分配RAM。例如：它可以是某种应用程序(Java、Python、PHP)、web服务器，甚至是备份(即mysqldump)等。当问题的根源被确定后，就可以直接修复了。...MySQL中的内存泄漏。这是最坏的情况，我们才需要进行故障排除。...从哪里开始对MySQL内存泄漏进行故障排除 下面是我们可以从下面步骤开始（(假设它是一个Linux服务器)）： 第1部分:Linux操作系统和配置检查 1.
如果冻结功能正常，租户 memstore 占用内存到达 major_freeze_trigger 之后，就会先冻结、然后转储该租户下的 MemTable，转储完成的 MemTable 占用的内存会从 active_memstore_used...，该 MemTable 所属租户 memstore 已占用内存。...因为租户 memstore 占用内存达到 freeze_trigger_percentage 对应的内存上限之后，会触发租户级别的转储，也就是该租户下的所有 MemTable 都会进行转储。...如果是 OB 2.2.x 版本，可以通过以下 SQL 查询已冻结但未释放内存的 MemTable，是否因为存在活跃事务，导致转储调度异常，内存无法释放。...如果确认了转储调度正常，转储过程也正常，但是已冻结的 MemTable 内存却没有释放，那再确认下是否因为 MemTable 的引用计数异常，导致内存无法释放。
理论上服役时间越长的服务器发生故障的几率也将越大，从腾讯全网服务器的统计结果也表明服务器老龄化的加剧，故障概率会加速上升，特别是使用年份超过4年的设备故障率将出现陡升的情况，显而易见高故障率的老龄化设备将对现网业务造成巨大的影响...我们的服务器使用年限超过5年后，硬盘故障率都是非常高。 ? 于是乎，想快速有效的降低服务器故障的影响，核心就在于降低硬盘故障的影响。...或许这些服务器配置信息能给出一些统计结果，我们想要的是即将故障的硬盘，而不是这些差异性不大的各个集合的整体故障率。...为了支持我们提供了运营模型设置，主要包括服务器类型，上架年限，服务器健康度，业务模块，预测比，坏块比，性能参数等，系统会根据这个设置表，对满足其中任意一条规则的预测故障盘，自动发起故障流程。...成功预测的硬盘故障数量，粗略估算已覆盖SATA硬盘故障数的50%左右，进而促使5年以上服务器对业务影响的硬件整体故障率也下降了0.5%。
1写在前面 ---- 简单整一下 k8s 中 Pod 故障 OOMKilled 的原因以及诊断 博文内容涉及: k8s OOMKilled 分类: 宿主节点行为 / K8s Cgroups 行为 什么是...Killed 通过上下内存信息可以发现，当分配1000M内存时，宿主机用户使用内存增加了1000M，可用内存为117M，当申请内存为2000M时，超出宿主机可用内存，bigmem 2000M命令所在进程直接被...这可以帮助您确定哪些容器消耗了太多内存并触发了 OOMKilled 错误。 使用内存性能分析器：使用 pprof 等内存性能分析器来识别可能导致内存过度使用的内存泄漏或低效代码。...需要调试应用程序以解决内存泄漏的原因。 节点过载 — 这意味着 Pod 使用的总内存大于可用的总节点内存。通过纵向扩展来增加节点的可用内存，或将 Pod 移动到具有更多可用内存的节点。...(指定的最小内存)，但低于其内存限制 使用超过其内存限制的 Pod 要点 为避免 OOMKilled 错误，建议监控 Kubernetes Pod 和容器中的内存使用情况，设置资源限制以防止容器消耗过多内存
前一篇介绍了线上应用故障排查之一：高CPU占用，这篇主要分析高内存占用故障的排查。...，以及在实际计算机系统中将变量存储到内存和从内存取出变量这样的低层细节。...现在以一个实际的例子分析内存占用的故障排查。 通过top命令，发现PID为9004的Java进程一直占用比较高的内存不释放（24.7%），出现高内存占用的故障。...想起上一篇线上应用故障排查之一：高CPU占用介绍的PS命令，能否找到具体是哪个的线程呢？...特别是占用了大量内存的int数组，需要仔细检查相关代码。 最后，总结下排查内存故障的方法和技巧有哪些： 1、top命令：Linux命令。可以查看实时的内存使用情况。
本文是关于Java故障排查的，属上篇。 为了保证文章的流畅性，我决定一口气把它写完。因为相关方面的培训做的多了，就不需要在写的时候参考资料、翻源代码。掐指一算，本文一个小时没花掉，但篇幅已经较长了。...1.内存里都有啥 2.操作系统内存 3.JVM内存划分 4.一图解千愁，jvm内存从来没有这么简单过！...一部分是物理内存，指的是我们插的那根内存条；另一部分就是使用磁盘模拟的虚拟内存，在Linux通常称做swap分区。所以，可用内存 = 物理内存 + 虚拟内存。...本地内存：其他的内存占用空间 ?...6.垃圾回收器 内存问题有两种模式，一种是内存溢出，一种是内存泄漏。 内存溢出 OutOfMemoryError，简称OOM，堆是最常见的情况，堆外内存排查困难。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
