CPU 告警不响,或把统计粒度从 1 分钟改成 5 分钟后曲线点反而更高,多半不是阈值写错。告警比对的是按粒度聚合后的点,持续点数决定越线和恢复各要等几个点。
指标告警由指标、比较关系、阈值、统计粒度和持续数据点组成。粒度是分析间隔,不是 top 的采样间隔。曲线上的点没越线,就不发通知。
CpuUsage、MemUsage 是 60 秒 avg、300 秒 max。CvmDiskUsage 从 60 秒起就是 max,且是所有磁盘里的最大值。DcCpuUsage 在 300 秒仍是 avg,不要套到所有 CPU 指标。
告警侧更窄。DescribeAlarmMetrics 文档示例里,cvm_device 的 CpuUsage、BaseCpuUsage、MemUsage、CvmDiskUsage,Period 只有 60 和 300,ContinuePeriod 只有 1 到 5。有 10 秒曲线,不代表能配 10 秒告警。以接口返回为准,不要手填 10 或 3600。
60 秒改成 300 秒,是从平均改成最大,不是把窗口拉长再求平均。短尖刺可能被 60 秒平均压到 80 以下,300 秒 max 仍可能越线。五个 60 秒平均值的算术平均,也不是 300 秒那个点。
GetMonitorData 的 Period 默认 300。查 CpuUsage 时漏传,拿到的就是 max。未提供的统计方式可能有误差,不要用 300 秒平均值对账。
粒度 | CpuUsage、MemUsage | 持续 1 个点 | 持续 5 个点 |
|---|---|---|---|
60 秒 | avg | 1 分钟 | 5 分钟 |
300 秒 | max | 5 分钟 | 25 分钟 |
CvmDiskUsage 两档都是 max。表中的 5 是文档示例上限。
持续点数是防抖。静态阈值示意图按同一个持续点数画触发和恢复,例子是连续 3 个点。这 N 个点都要满足,不是窗口内任意凑满。
发现时间按 Period × ContinuePeriod 估算。示例里最快 60 秒,最慢门槛 25 分钟。300 秒、持续 2 个点,触发和恢复各约 10 分钟,不含未写明的采集延迟。
通知另算:24 小时内按设定间隔,之后每天一次,超过 7 天未恢复不再告警。恢复后周期重算。「只告警一次」是触发和恢复各一次。NoticeFrequency 只有 0、300、600、900、1800、3600、7200、10800、21600、43200、86400,不要填 60。分级只换阈值,接口字段是 Serious、Warn、Remind,且只支持云产品监控和应用性能监控。
时间戳数组里没有的时刻是没数据,不是 0。gt 80 只看有值的点,组件报不上来时这条规则不响。
BaseCpuUsage 由宿主机采集,不依赖监控组件,不要和 CpuUsage 共用阈值。no_data 才用来盯采集中断。历史状态 NO_DATA 是数据不足,和 ALARM、OK、NO_CONF 分开。数据不足时查断点,不要放宽阈值。
CvmDiskUsage 是所有盘的最大值。一块数据盘打满,整机告警也会响。分区用带 diskname 的指标。告警维度示例是 vm_uuid,拉数是 InstanceId。
IsUnionRule:0 任意,1 所有,2 复合并要配 ComplexExpression。选了「所有」,纯 CPU 打满不会响。复合式 (1AND2)OR3 先 AND 后 OR,多个子句成立也只发一条。
环比上升的增长率 = (当前值 − 上个值) / 上个值,要连续 n 个点都大于阈值。从 10 到 30,公式结果是 2(涨了两倍),从 90 到 95 是 5/90。阈值按百分比还是按这个比值填,以该指标的配置说明为准。高位走平会恢复,不适合盯「已经很高」。前一点为 0 时不要用。CpuUsage 示例有 cycle_* 和 no_data,没有 day_*、week_*,同比以 Operator 列表为准。
脚本读 TENCENTCLOUD_SECRET_ID、TENCENTCLOUD_SECRET_KEY。策略类型 cvm_device,拉数命名空间 QCE/CVM。不能拉容器服务监控。三段在同一个文件里。
import json, os
from tencentcloud.common import credential
from tencentcloud.common.profile.client_profile import ClientProfile
from tencentcloud.common.profile.http_profile import HttpProfile
from tencentcloud.monitor.v20180724 import monitor_client, models
def client(region):
cred = credential.Credential(os.environ["TENCENTCLOUD_SECRET_ID"], os.environ["TENCENTCLOUD_SECRET_KEY"])
hp = HttpProfile()
hp.endpoint = "monitor.tencentcloudapi.com"
pf = ClientProfile()
pf.httpProfile = hp
return monitor_client.MonitorClient(cred, region, pf)
def show_limits(region):
req = models.DescribeAlarmMetricsRequest()
req.from_json_string(json.dumps({"Module": "monitor", "MonitorType": "MT_QCE", "Namespace": "cvm_device"}))
want = {"CpuUsage", "BaseCpuUsage", "MemUsage", "CvmDiskUsage"}
for m in client(region).DescribeAlarmMetrics(req).Metrics:
if m.MetricName not in want:
continue
c = m.MetricConfig
print(m.MetricName, list(c.Period), list(c.ContinuePeriod), list(c.Operator))60 秒和 300 秒各拉一次。文档英文名是 CpuUsage,请求示例写成 CPUUsage,空了再换大小写。空数组不是 0。单次最多 50 个实例、7200 个点,每月 100 万次免费额度,不要空转。
import datetime
def pull(region, instance_id, period, metric="CpuUsage"):
end = datetime.datetime.now(datetime.timezone(datetime.timedelta(hours=8)))
start = end - datetime.timedelta(minutes=30)
req = models.GetMonitorDataRequest()
req.from_json_string(json.dumps({
"Namespace": "QCE/CVM", "MetricName": metric, "Period": period,
"Instances": [{"Dimensions": [{"Name": "InstanceId", "Value": instance_id}]}],
"StartTime": start.strftime("%Y-%m-%dT%H:%M:%S+08:00"),
"EndTime": end.strftime("%Y-%m-%dT%H:%M:%S+08:00"),
}))
pts = client(region).GetMonitorData(req).DataPoints[0]
for ts, val in zip(pts.Timestamps or [], pts.Values or []):
print(int(ts), val)历史按 FirstOccurTime 过滤。只查最近一小时,会漏掉仍未恢复的旧告警。子用户只能看被授权项目。
import time
def open_cpu_alarms(region):
now = int(time.time())
req = models.DescribeAlarmHistoriesRequest()
req.from_json_string(json.dumps({
"Module": "monitor", "PageNumber": 1, "PageSize": 20, "Order": "DESC",
"StartTime": now - 7 * 24 * 3600, "EndTime": now,
"MonitorTypes": ["MT_QCE"], "AlarmStatus": ["ALARM"],
"Namespaces": [{"MonitorType": "MT_QCE", "Namespace": "cvm_device"}],
"MetricNames": ["CpuUsage"],
}))
for h in client(region).DescribeAlarmHistories(req).Histories or []:
print(h.AlarmObject, h.AlarmStatus, h.FirstOccurTime, h.LastOccurTime)点数不够就不响。300 秒高于 80、60 秒平均低于 80,可以同时成立。
cvm_device,拉数 QCE/CVM。InstanceId 和 vm_uuid 不要混用。Period、ContinuePeriod 以接口为准。CpuUsage 从 60 秒改到 300 秒是从 avg 改成 max。发现和恢复都按 Period × ContinuePeriod 估算,超过 7 天未恢复不再告警。no_data 或 BaseCpuUsage。整机磁盘告警是所有盘的最大值。StartTime 放到首次触发之前。短信每月 1000 条免费额度用完、渠道未验证、策略未启用,都会表现为没收到通知。参考文档:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。