机器常见需要关注的监控指标

1. Linux 运维基础采集项

做运维,不怕出问题,怕的是出了问题,抓不到现场,两眼摸黑。所以,依靠强大的监控系统,收集尽可能多的指标,意义重大。但哪些指标才是有意义的呢,本着从实践中来的思想,各位工程师在长期摸爬滚打中总结出来的经验最有价值。

在各位运维工程师长期的工作实践中,我们总结了在系统运维过程中,经常会参考的一些指标,主要包括以下几个类别:

  • CPU
  • Load
  • 内存
  • 磁盘
  • IO
  • 网络相关
  • 内核参数
  • ss 统计输出
  • 端口采集
  • 核心服务的进程存活信息采集
  • 关键业务进程资源消耗
  • NTP offset采集
  • DNS解析采集
  • +

2. CPU相关采集项

计算方法:通过采集 /proc/stat 来得到,大家可以参考 sar 命令的统计输出来理解。

  • cpu.idle:Percentage of time that the CPU or CPUs were idle and the system did not have an outstanding disk I/O request.
  • cpu.busy:与cpu.idle相对,他的值等于100减去cpu.idle。
  • cpu.guest:Percentage of time spent by the CPU or CPUs to run a virtual processor.
  • cpu.iowait:Percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.
  • cpu.irq:Percentage of time spent by the CPU or CPUs to service hardware interrupts.
  • cpu.softirq:Percentage of time spent by the CPU or CPUs to service software interrupts.
  • cpu.nice:Percentage of CPU utilization that occurred while executing at the user level with nice priority.
  • cpu.steal:Percentage of time spent in involuntary wait by the virtual CPU or CPUs while the hypervisor was servicing another virtual processor.
  • cpu.system:Percentage of CPU utilization that occurred while executing at the system level (kernel).
  • cpu.user:Percentage of CPU utilization that occurred while executing at the user level (application).
  • cpu.cnt:cpu核数。
  • cpu.switches:cpu上下文切换次数,计数器类型。

3. 磁盘相关采集项

计算方法:先读取 /proc/mounts 拿到所有挂载点,然后通过 syscall.Statfs_t 拿到 blocks 和 inode 的使用情况。每个 metric 都会附加一组 tag 描述,类似 mount=$mount,fstype=$fstype,其中 $mount 是挂载点,比如 /home$fstype 是文件系统,比如 ext4。

  • df.bytes.free:磁盘可用量,int64
  • df.bytes.free.percent:磁盘可用量占总量的百分比,float64,比如32.1
  • df.bytes.total:磁盘总大小,int64
  • df.bytes.used:磁盘已用大小,int64
  • df.bytes.used.percent:磁盘已用大小占总量的百分比,float64
  • df.inodes.total:inode总数,int64
  • df.inodes.free:可用inode数目,int64
  • df.inodes.free.percent:可用inode占比,float64
  • df.inodes.used:已用的inode数据,int64
  • df.inodes.used.percent:已用inode占比,float64

4. megacli 工具输出

使用 megacli 工具读取 RAID 相关信息,每个 metric 都会附件一组 tag 描述,用来标明所属 PD 或者 VD,PD 格式为 PD=Enclosure_ID:SLOT_ID,比如 PD=32:0 表明第一块磁盘 ,VD=0 表明第一个逻辑磁盘。

  • sys.disk.lsiraid.pd.Media_Error_Count:这个及以下三个指标目前仅作为数据收集,不一定意味磁盘损坏(只是表示损坏概率变大)
  • sys.disk.lsiraid.pd.Other_Error_Count
  • sys.disk.lsiraid.pd.Predictive_Failure_Count
  • sys.disk.lsiraid.pd.Drive_Temperature
  • sys.disk.lsiraid.pd.Firmware_state:如果值不为0,则此物理磁盘出现问题
  • sys.disk.lsiraid.vd.cache_policy:如果值不为0,表示此逻辑磁盘缓存策略和设置不符
  • sys.disk.lsiraid.vd.state: 如果值不为0,表示此逻辑磁盘出现问题

5. SMART 工具输出

使用 smartctl 工具读取磁盘 SMART 信息,目前所有指标仅作为数据收集,不一定意味磁盘损坏(只是表示概率变大),每个 metric 都会有一组 tag 描述,表明盘符,例如 device=/dev/sda。

  • sys.disk.smart.Reallocated_Sector_Ct
  • sys.disk.smart.Spin_Retry_Count
  • sys.disk.smart.Reallocated_Event_Count
  • sys.disk.smart.Current_Pending_Sector
  • sys.disk.smart.Offline_Uncorrectable
  • sys.disk.smart.Temperature_Celsius

6. 分区读写监控

测试所有已挂载分区是否可读写,每个 metric 都会有一组 tag 描述,表示挂载点,比如 mount=/home

  • sys.disk.rw: 如果值不为0,表明此分区读写出现问题

7. IO相关采集项

计算方法:每秒采集一次 /proc/diskstats,计算差值,都是计数器类型的。每个 metric 都会有一组 tag 描述,形如 device=$device,用来表示具体的设备,比如 sda1、sdb。用户可以参考 iostat 的帮助文档来理解具体的 metric 含义。

  • disk.io.ios_in_progress:Number of actual I/O requests currently in flight.
  • disk.io.msec_read:Total number of ms spent by all reads.
  • disk.io.msec_total:Amount of time during which ios_in_progress >= 1.
  • disk.io.msec_weighted_total:Measure of recent I/O completion time and backlog.
  • disk.io.msec_write:Total number of ms spent by all writes.
  • disk.io.read_merged:Adjacent read requests merged in a single req.
  • disk.io.read_requests:Total number of reads completed successfully.
  • disk.io.read_sectors:Total number of sectors read successfully.
  • disk.io.write_merged:Adjacent write requests merged in a single req.
  • disk.io.write_requests:total number of writes completed successfully.
  • disk.io.write_sectors:total number of sectors written successfully.
  • disk.io.read_bytes:单位是byte的数字
  • disk.io.write_bytes:单位是byte的数字
  • disk.io.avgrq_sz:下面几个值就是iostat -x 1看到的值
  • disk.io.avgqu-sz
  • disk.io.await
  • disk.io.svctm
  • disk.io.util:是个百分数,比如56.43,表示56.43%

8. 机器负载相关采集项

计算方法:读取/proc/loadavg,都是原始值类型的:

  • load.1min
  • load.5min
  • load.15min

9. 内存相关采集项

计算方法:读取/proc/meminfo 中的内容,其中的mem.memfree是free+buffers+cached,mem.memused=mem.memtotal-mem.memfree。用户具体可以参考free命令的输出和帮助文档来理解每个metric的含义。

  • mem.memtotal:内存总大小
  • mem.memused:使用了多少内存
  • mem.memused.percent:使用的内存占比
  • mem.memfree
  • mem.memfree.percent
  • mem.swaptotal:swap总大小
  • mem.swapused:使用了多少swap
  • mem.swapused.percent:使用的swap的占比
  • mem.swapfree
  • mem.swapfree.percent

10. 网络相关采集项

计算方法:读取 /proc/net/dev 的内容,每个 metric 都附加有一组 tag,形如 iface=$iface,标明具体那个 interface,比如 eth0。metric 中带有 in 的表示流入情况,out 表示流出情况,total 是总量 in+out,支持的 metric 如下:

  • net.if.in.bytes
  • net.if.in.compressed
  • net.if.in.dropped
  • net.if.in.errors
  • net.if.in.fifo.errs
  • net.if.in.frame.errs
  • net.if.in.multicast
  • net.if.in.packets
  • net.if.out.bytes //网卡每秒向外传输的数据量
  • net.if.out.carrier.errs
  • net.if.out.collisions
  • net.if.out.compressed
  • net.if.out.dropped
  • net.if.out.errors
  • net.if.out.fifo.errs
  • net.if.out.packets
  • net.if.total.bytes //网卡每秒发送和接收的数据量
  • net.if.total.dropped
  • net.if.total.errors
  • net.if.total.packets

11. 端口采集项

计算方法,通过ss -ln,来判断指定的端口是否处于listen状态。原始值类型,值要么是1:代表在监听,要么是0,代表没有在监听。每个metric都附件一组tag,形如 port=$port,$port就是具体的端口。

  • net.port.listen

12. 机器内核配置

  • kernel.maxfiles: 读取的/proc/sys/fs/file-max
  • kernel.files.allocated:读取的/proc/sys/fs/file-nr第一个Field
  • kernel.files.left:值=kernel.maxfiles-kernel.files.allocated
  • kernel.maxproc:读取的/proc/sys/kernel/pid_max

13. ntp采集项

使用 ntpq -pn 获取本机时间相对于 ntp 服务器的 offset。

  • sys.ntp.offset: 本机偏移时间,单位为ms,值过大或者为0则表明有异常,需要报警

14. 进程监控

  • proc.num:判断某个进程的数目,这里需要分两个场景,一种是根据进程的名字来判定,比如name=sshd;另外一种是根据cmdline来判定,比如Java的应用进程名可能都是java,根据第一种情况没法做区分,此时可以配置cmdline,如cmdline=./falcon_agent-c./cfg.ini

15. 进程资源监控

  • process.cpu.all:进程和它的子进程使用的sys+user的cpu,单位是jiffies
  • process.cpu.sys:进程和它的子进程使用的sys cpu,单位是jiffies
  • process.cpu.user:进程和它的子进程使用的user cpu,单位是jiffies
  • process.swap:进程和它的子进程使用的swap,单位是page
  • process.fd:进程使用的文件描述符个数
  • process.mem:进程占用内存,单位byte

16. ss命令输出

  • ss.orphaned
  • ss.closed
  • ss.timewait
  • ss.slabinfo.timewait
  • ss.synrecv
  • ss.estab

原文发布于微信公众号 - zhisheng(zhisheng_blog)

原文发表时间:2018-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

值得收臧 | 从零开始搭建带GPU加速的深度学习环境(操作系统、驱动和各种机器学习库)

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 原文:https://medium....

3806
来自专栏腾讯安全应急响应中心

短网址安全浅谈

何谓短网址(Short URL)?顾名思义,就是形式上比较短的网址,当前主要是借助短网址来替代原先冗长的网址,方便传输和分享。短网址服务也就是将长网址转换为短网...

3070
来自专栏韩东吉的Unity杂货铺

零基础入门 43:InputField虚拟键盘激活状态如何检查?

Hello,大家好,我是Jimin 韩东吉,因为公司的项目在前一段时间处于紧急开发阶段和紧接着的一测二测,导致又是时隔很久不更,现在节奏稍微慢了下来,还是抽空回...

1563
来自专栏IT派

从零开始:手把手教你安装深度学习操作系统、驱动和各种python库!

为了研究强化学习,最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器。尽管目前在网络中能找到一些环境部署指南,但目前仍然没有全面的安装说明。另外...

4328
来自专栏CSDN技术头条

详解 NoSQL 数据库的分布式算法

系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐,什么都能塞进...

2299
来自专栏Java技术栈

2017一季度JAVA面试题锦集

1、如何实现分布式事务,你们公司是怎么解决的? 2、HashMap数据结构及实现原理,其链表是用来解决什么问题的 3、可以自定义java.lang.String...

4195
来自专栏Android干货园

Reading:一款不错的Material Desgin风格的Kotlin版本的开源APP

版权声明:本文为博主原创文章,转载请标明出处。 https://blog.csdn.net/lyhhj/article/details/81...

1183
来自专栏施炯的IoT开发专栏

Endnote for Windows Mobile

  想必园子里有好多朋友都写过paper吧,在阅读文献的时候,是不是觉得管理文献这个事情很麻烦。我正处于刚刚起步的阶段,英语写译老师Greatlion给我们推荐...

2016
来自专栏腾讯云数据库团队的专栏

Greenplum 简单性能测试与分析

通过TPC-H基准测试,可获得数据库单位时间内的性能处理能力,为评估数据库系统的现有性能服务水平提供有效依据。

1.1K12
来自专栏FreeBuf

Skype-Type:一款通过声音窃取键盘记录的Keylogger工具

Skype-Type(简称S&T)是一款功能强大的键盘声音窃听器,这款新颖的安全研究工具将允许他人执行键盘声音窃听攻击。简而言之,S&T可以通过窃听目标用户的键...

3744

扫码关注云+社区