物联网 · 机房动环 · SNMP · 盛世宏博

在大型算力集群、多园区数据中心场景下,异地多机房集群化运维已经成为主流模式。不同机房分布在不同楼宇、不同园区,机房之间依靠专线、裸光纤或者MPLS VPN实现三层互通,机房内部部署大量RJ45网络型温湿度传感器,用于机柜、冷通道、UPS配电室、蓄电池室、精密空调区域的环境监测。传统基于Modbus TCP、TCP/UDP自定义报文的采集方案在和已有网管平台、统一运维平台对接时存在适配成本高、协议不兼容的问题,而SNMP作为数据中心网管领域的标准协议,能够直接被Zabbix、Prometheus+snmp_exporter、H3C/iMC、华为eSight等主流网管系统纳管,不需要额外开发私有协议适配层,因此成为集群监控场景的优选方案。
本项目核心目标是完成异地多机房集群环境下网络型温湿度传感器的SNMP标准化配置,定义规范OID节点,实现温湿度原始数据读取、设备状态采集、阈值超限告警主动上报(Trap),同时开发配套采集解析程序,完成多机房设备统一纳管、告警收敛、故障溯源。项目的核心难点集中在几个方面:第一,多厂商传感器OID私有定义不统一,集群场景下设备型号混杂,需要做OID映射适配层;第二,异地跨专线链路存在时延、丢包,SNMP轮询超时、Trap报文跨网段转发失败;第三,SNMP Trap告警不可靠,缺少应答与重传机制,容易出现告警丢失;第四,大量传感器并发轮询造成网管服务器CPU、带宽资源耗尽;第五,多机房告警标签缺失,告警上报之后无法快速区分告警归属机房、机柜位置。
依据GB 50174-2017《数据中心设计规范》、GB/T 2887-2011《计算机场地通用规范》,主机房温度管控区间18℃~27℃,相对湿度40%~60%;蓄电池室、配电室、电池柜区域有差异化管控阈值,温湿度一旦超限,会引发服务器过热降频、磁盘损坏、蓄电池鼓包漏液、配电柜凝露短路等重大故障。集群运维模式下,运维人员无法逐个机房现场巡检,必须依靠SNMP采集+Trap主动告警的方式,实现异常事件第一时间推送,同时完整留存历史监测数据,支撑机房环境趋势分析、容量评估、故障复盘。
很多工程实践中存在一个误区:只使用SNMP轮询GET方式拉取数据,完全放弃Trap告警上报。轮询模式属于被动采集,轮询周期决定告警延迟,如果轮询周期设置30s,最长会存在接近30s的告警滞后;高频轮询又会带来巨大的报文压力。成熟的集群监控方案应当采用“轮询采集常态数据 + Trap主动上报异常事件”的组合架构,常态温湿度数据定时轮询入库,超限、离线、供电故障等突发事件由传感器主动发送SNMP Trap,兼顾数据完整性和告警实时性。
SNMP简单网络管理协议由管理端(Manager)、代理端(Agent)、MIB管理信息库三部分组成。网络型温湿度传感器内置SNMP Agent,所有可读取、可配置的参数都在MIB库中以OID(对象标识符)树形节点定义,管理端通过GET、GET-NEXT、GET-BULK请求读取OID数值,通过SET请求修改设备配置参数;当设备发生预设事件时,Agent主动向管理端发送Trap报文,无需管理端发起查询。
SNMP主流分为SNMPv1、SNMPv2c、SNMPv3三个版本,异地多机房集群场景需要按照链路安全等级区分选型:
在本集群方案中,采用混合版本策略:机房本地动环VLAN内部,同机房传感器与本地边缘采集网关之间使用SNMPv2c降低配置复杂度;跨园区专线链路、中心网管平台和边缘网关之间、需要对外上报Trap的链路,统一使用SNMPv3,开启认证加密,规避安全风险。
MIB分为标准MIB和私有MIB。标准MIB(如RFC1213 MIB-II)定义系统通用节点:sysName、sysLocation、sysUpTime、sysContact;而温湿度、告警阈值、告警状态属于厂商私有扩展MIB,不同厂商的OID前缀完全不一样。这也是集群项目最头疼的问题:A品牌温湿度传感器温度OID是1.3.6.1.4.1.xxx.1.1,B品牌是1.3.6.1.4.1.yyy.1.1,直接接入网管平台会出现OID不识别、采集脚本无法复用。因此项目开发阶段,需要搭建统一OID映射层,对不同厂商私有OID做归一化处理,向上层网管提供统一抽象接口。
以私有企业OID分支为基础,规划一套标准化MIB节点,适配集群监控,同时兼容原有厂商私有节点,OID树形结构如下:
1.3.6.1.4.1.xxxx // 厂商私有根OID
├─ .1 // 设备基础信息组
│ ├─ .1.1 sysDevName // 设备名称(字符串,填写机柜编号、测点位置)
│ ├─ .1.2 sysDevIp // 设备IP地址
│ ├─ .1.3 sysDevMac // 设备MAC地址
│ ├─ .1.4 sysDevLocation // 机房、园区位置标签
│ ├─ .1.5 sysDevUpTime // 设备上电运行时长
│ └─ .1.6 sysDevPowerStatus // 供电状态 0=正常,1=断电
├─ .2 // 环境采集数据组
│ ├─ .2.1 tempValue // 温度值,放大10倍整数存储,例256代表25.6℃
│ ├─ .2.2 humiValue // 湿度值,放大10倍整数存储,例525代表52.5%RH
│ ├─ .2.3 tempRaw // 传感器原始AD值(调试用)
│ └─ .2.4 humiRaw // 湿度原始AD值(调试用)
├─ .3 // 阈值配置组(支持SNMP SET写入)
│ ├─ .3.1 tempHighThreshold // 温度上限阈值
│ ├─ .3.2 tempLowThreshold // 温度下限阈值
│ ├─ .3.3 humiHighThreshold // 湿度上限阈值
│ └─ .3.4 humiLowThreshold // 湿度下限阈值
├─ .4 // 告警状态组
│ ├─ .4.1 alarmStatus // 告警掩码,bit0温度高,bit1温度低,bit2湿度高,bit3湿度低,bit4供电异常
│ ├─ .4.2 alarmLastTime // 最近一次告警时间戳
│ └─ .4.3 alarmClearTime // 告警恢复时间戳
└─ .5 // Trap事件定义组
├─ .5.1 trapTempOverHigh // 温度越上限Trap
├─ .5.2 trapTempBelowLow // 温度越下限Trap
├─ .5.3 trapHumiOverHigh // 湿度越上限Trap
├─ .5.4 trapHumiBelowLow // 湿度越下限Trap
└─ .5.5 trapPowerFault // 供电故障Trap工程约定:温湿度数值统一放大10倍以整数类型(Integer32)存储,规避SNMP对浮点数支持差的问题,采集程序读取后除以10还原真实数值,是行业通用的稳定方案。
在网络型温湿度传感器Web配置页面或者调试工具中,完成MIB参数配置:
集群项目经常遇到存量利旧,不同品牌传感器OID不统一,直接编写采集脚本会大量重复开发。解决方案是在边缘网关开发OID映射适配层,维护一张OID映射表:
设备型号 | 温度OID | 湿度OID | 告警状态OID | 适配版本 |
|---|---|---|---|---|
型号A | 1.3.6.1.4.1.10001.2.1 | 1.3.6.1.4.1.10001.2.2 | 1.3.6.1.4.1.10001.4.1 | v2c |
型号B | 1.3.6.1.4.1.10002.2.1 | 1.3.6.1.4.1.10002.2.2 | 1.3.6.1.4.1.10002.4.1 | v3 |
适配层对外向上层网管输出统一的虚拟OID,采集程序只需要读取这套统一OID,底层自动转发对应厂商OID请求,实现上层采集逻辑无感知切换设备,降低后期扩容、替换设备的开发成本。适配层可以基于net-snmp、pysnmp开发,作为网关侧独立服务运行。
采集程序部署在各机房边缘网关,采用Python pysnmp或者C语言net-snmp库开发,每个机房独立采集进程,避免跨机房采集互相影响。边缘网关作为本机房的SNMP Manager,对本地传感器执行轮询,采集后归一化数据,推送到中心时序数据库。
集群场景下,轮询策略是稳定性核心,不能简单对所有设备设置相同周期并发轮询。任务调度采用协程池+令牌桶限流:
核心伪代码逻辑(pysnmp):
from pysnmp.hlapi import *
def get_snmp_value(ip, community, oid):
errorIndication, errorStatus, errorIndex, varBinds = next(
getCmd(SnmpEngine(),
CommunityData(community),
UdpTransportTarget((ip, 161), timeout=0.5, retries=1),
ContextData(),
ObjectType(ObjectIdentity(oid)))
)
if errorIndication:
return None
else:
for varBind in varBinds:
return int(varBind[1])
temp_raw = get_snmp_value("192.168.40.10", "public", "1.3.6.1.4.1.xxxx.2.1")
if temp_raw is not None:
temp = temp_raw / 10.0采集程序读取OID数值之后,完成换算、附加标签:园区名称、机房编号、机柜编号、测点类型,封装为JSON格式。边缘网关本地使用TDengine或者Redis缓存数据,当专线中断,停止向中心平台推送,数据本地持久化;链路恢复后断点续传,不会丢失轮询历史数据。
Trap是本方案的告警核心,区别于轮询被动拉取,传感器检测到阈值触发之后,主动发送Trap报文到边缘网关UDP 162端口。原生SNMP Trap存在致命短板:UDP无连接,报文发出之后没有ACK确认,报文丢失之后不会重传,集群跨专线场景极易出现告警丢包。因此开发层面必须做多层可靠性补强。
边缘网关部署Trap接收服务,监听UDP 162端口,推荐使用pysnmp或者snmptrapd。服务工作流程:
多机房集群告警量巨大,需要在边缘网关做一级收敛:
容灾架构上,每个机房边缘网关支持主备部署,主网关宕机,备用网关自动接管SNMP轮询和Trap监听;中心平台告警服务集群部署,时序数据库多副本存储,温湿度和告警记录保存不少于3年,满足等保审计要求。
安全加固要点:传感器关闭外网访问,修改默认Web账号密码;SNMPv3优先启用,关闭不必要的SET写权限;网关关闭SSH弱密码,限制登录源IP;所有SNMP访问日志、Trap日志留存审计。
扩容时,新增机房只需要部署边缘网关,配置本机房传感器SNMP参数、OID映射,网关主动北向对接中心平台,上层采集、告警逻辑无需改动;单机房新增测点,只需要在OID映射表增加一条记录,采集服务自动纳管,水平扩展能力强。
这套异地多机房集群监控方案,依托SNMP标准化OID体系,把常态数据轮询和异常Trap主动上报结合,解决了跨园区机房温湿度传感器统一纳管、告警上报的工程难题。OID标准化规划解决多厂商设备混杂带来的适配混乱,边缘网关分层采集架构隔离专线网络抖动,规避大量SNMP报文直接跨广域网传输带来的带宽、安全风险。
在实际开发落地中,不能单纯依赖SNMP本身,UDP协议的固有缺陷必须依靠应用层重传、状态机、轮询兜底等开发手段补齐;同时OID抽象适配层是集群项目长期运维的关键,能够大幅降低后期设备替换、系统迭代的开发成本。方案兼容主流网管平台,适合中大型多园区数据中心、算力集群的环境监控改造项目。
关键词:物联网,异地多机房,集群监控,网络型温湿度传感器,SNMP,OID,Trap告警,机房动环,边缘网关,告警上报开发,盛世宏博
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。