对于涉及到视频传输的项目团队，很多用户都会关心视频平台带宽消耗的问题。我们经常接到用户关于EasyGBS的带宽消耗问题。...而由于现在越来越多的用户使用4G流量摄像头进行数据传输，所以流量的消耗也是用户比较关心的内容之一。为了便于用户观测流量消耗，本文我们介绍下如何在EasyGBS服务器上观测设备一段时间内的流量消耗。...image.png 1、EasyGBS不能直接去查看流量，需要通过抓包去看，因此我们先抓一个小时的包，然后在生成包文件里找到设备的ip。...EasyGBS平台发送了55MB的流，因此可以判定这个设备在一个小时内的流量消耗为55MB。...image.png EasyGBS是一个开放性的平台，平台提供了丰富的二次开发接口，用户可以自由选择不同的接口调用并集成到自己的平台上，操作简单方便。
PromQL 功能非常强大，大部分应用开发者只需要了解最简单的函数（如 rate、delta、histogram_quantile）就可以实现绝大部分需求。...更进一步也可以按自己的心意写出复杂的 PromQL 语句。 本文并不致力于详尽的讲解每一个组成部分，只想澄清最关键的一些概念。一些组成部分的细节（如具体的函数）可以去查阅官方文档。...当执行某些运算或函数的时候，可能出现维度丢失。...max_over_time 函数，只需要知道一段 range 里的 value就行了，并不关心时间戳 Vector扩展——相关注意点 指标在收集的过程中，可能会丢失某些时刻的sample，一个 range...丢失数据点后的range在计算过程中，Prometheus会进行一定的兼容处理（如根据一定算法推测缺失的点）。
PromQL通过使用这些标识符来查询和聚合时间序列数据。 PromQL提供了一些基本的查询操作，如过滤器、聚合器、函数等，可以帮助用户快速地查询和分析数据。...时序数据可以被理解为一个以时间为轴的矩阵。在这个矩阵中，每一行代表一个时间戳，每一列代表一个时间序列，矩阵中的每个单元格则表示一个特定时间戳下某个时间序列的值。...这里我们假设每个时间点的时间戳是相同的，这是为了简化示例，实际上时间戳可能会有微小的差异。 将这两个时间序列表示为矩阵，则可以得到以下矩阵： 这个矩阵的每一列表示一个时间序列，每一行表示一个时间点。...分别是： Counter（计数器） Gauge（仪表盘） Histogram（直方图） Summary（摘要） Counter Counter是一个计数器，它累加自己在一段时间内发生的事件次数。...常见的监控指标，如 http_requests_total、node_cpu_seconds_total 都是 Counter 类型的监控指标。
平台统一监控的介绍和调研 直观感受PromQL及其数据类型 PromQL之选择器和运算符 PromQL 匹配器 相等匹配器（=） 选择与提供的字符串完全相同的数据 例：筛选出id=“G1 Eden...最简单形式：返回包含该指标名称的所有时间序列的瞬时向量 例：筛选出了所有指标为jvm_memory_used_bytes的数据 jvm_memory_used_bytes 区间向量选择器 返回一段时间内的样本数据...通过末尾[]进行时间定义，如[1m]，表示1分钟之内 例：返回一分钟内的数据 jvm_memory_used_bytes[1m] 图中每一条数据都4个样本值，表示1分钟之内采集了4次数据。...：依次找到与左边向量元素匹配（标签完全一致）的右边向量元素进行运算，如果没有找到匹配元素，直接丢弃。...一对一匹配： 即两遍拥有的标签完全相同，找到唯一一条条目依次进行匹配。
1 背景 我们在查询Prometheus的时候，通常有两种方式，一种是查瞬时的Metric采样数据，一种是查一段时间范围内的Metric采样数据。...那都是查Metric采样数据，查询瞬时和查询一段时间范围内这两种方式有什么区别呢？...2 图解Metric和采样 在上一篇文章Prometheus源码分析：基于Go Client自定义的Exporter，是如何在Local存储Metrics的？...中，我们介绍了Exporter是如何在Local存储Metric的。 本质是将Metric放在本地的Map中，然后等待Prometheus服务端来周期性地Pull。...，是使用好PromQL的关键，否则我们查询的结果很可能就不符合预期。
指标的变化率，PromQL 提供了不同的函数来计算变化率。...所以如果使用 query_range 区间查询，例如在绘图中，那么范围应该至少是步长的大小，否则会丢失一些数据。...这个 [1m] 不是用来计算的，irate 在计算的时候会最多向前在 [1m] 范围内找点，如果超过 [1m] 没有找到数据点，这个点的计算就放弃了。...rate()、irate() 和 increase() 函数只能输出非负值的结果，对于跟踪一个可以上升或下降的值的指标（如温度、内存或磁盘空间），可以使用 delta() 和 deriv() 函数来代替...例如，要计算在 15 分钟的窗口下，每秒钟磁盘使用量上升或下降了多少： 还有另外一个 predict_linear() 函数可以预测一个 Gauge 类型的指标在未来指定一段时间内的值，例如我们可以根据过去
服务发现：Prometheus 支持各种服务发现机制，帮助它找到应该抓取的目标。...数据库的这一段称为“头块”。 2.磁盘存储：达到一定年龄或大小后，头块中的数据将以称为checkpointing实时的过程移动到磁盘。该数据库由用于长期存储的“持久块”组成。...它使用复制和集群来确保在实例发生故障时数据不会丢失，从而使其成为关键应用程序的更可靠的选择。...在 HTTP 部分中，将“URL”设置为 Prometheus 服务器的地址（如http://localhost:9090）。 单击“保存并测试”以验证连接。...在 HTTP 部分中，将“URL”设置为您的 VictoriaMetrics 服务器的地址（如http://localhost:8428）。 单击“保存并测试”以验证连接。
7，si 代表软中断的cpu使用率，在linux上，会运行一个特定的进程ksoftirqd 处理软中断的逻辑，软中断你可以把它理解成也是一段程序，不过这段程序运行特点的某些软中断的任务，linux内核为了方便观察这些任务的耗时...整个promql语句代表的含义就是看 内核态程序在过去rate_interval 时间内的cpu使用周期占cpu过去rate_interval 时间内 总的周期时长 的百分比作为内核态程序cpu的占用率...第二行代表的是交换空间的信息，交换空间是指内核为了防止进程突增的内存超过系统内存引入的一片磁盘空间，它能够在内存不足时 将内存中的信息交换到磁盘，在内存空闲时，将磁盘中的信息换回到内存里。...，错误数可以通过网卡以及tcp层面暴露的错误信息来表示 ,涉及到的指标含义如下:1，带宽 :这个和磁盘吞吐量比较类似，是单位时间内传输的字节数，不过单位一般是bit/s 和字节的换算 8 * bit/...这两个指标同样能够从监控模板里找到对应的面板,图片图片两个指标都是counter类型，promql表达式用rate或者irate取值既可以看到pps或者流量速率了。
受PromQL的启发，Loki也有自己的LogQL查询语句。根据官方的说法，它就像一个分布式的grep日志聚合查看器。...PromQL的语法一样，主要也是通过采集上来的日志label来确定你要查询的日志流。...= "timeout" 日志度量 LogQL同样支持通过函数方式将日志流进行度量，通常我们可以用它来计算消息的错误率或者排序一段时间内的应用日志输出Top N。...LogQL中的支持的二进制运算符如下： +：加法 -：减法 *：乘法 /：除法 %：求模 ： 求幂 比如我们要找到某个业务日志里面的错误率，就可以按照如下方式计算： #计算日志内的错误率 sum(rate...LogQL里面集合运算的案例，暂且跳过 比较运算 LogQL支持的比较运算符合PromQL一样，均为以下内容： ==：等于 !
一个典型的监控（如白盒监控），通常会关注于目标服务的内部状态，例如： 单位时间接收到的请求数量 单位时间内请求的成功率/失败率 请求的平均处理耗时 白盒监控很好地描述了系统的内部状态，但缺少从外部角度看到的现象...Histogram 和 Summary：用于表示一段时间内的数据采样和点分位图统计结果，通常用来统计请求耗时或响应大小等。...env="test"} 0 http_requests{host="host3",service="web",code="200",env="test"} 12 而如果给这个条件加上一个时间参数，查询一段时间内的时间序列...在 Prometheus 的设计中，数据是以本地存储的方式进行持久化的，虽然本地持久化方便，当也会带来一些麻烦，比如节点挂了或者 Prometheus 被调度到其他节点上，就会意味着原节点上的监控数据在查询接口中丢失...前面看到 Prometheus 都是以拉模式定期对目标节点进行抓取的，那假如有一种情况是一些任务节点还没来得及被拉取就运行完退出了，这时候监控数据就会丢失，为了应对这种情况，Prometheus 提供了一个工具
可在此处找到可用 Calico 指标的完整列表。...非技术报告可以让其他人更容易了解您系统的健康状况和性能，并帮助他们根据该信息做出明智的决定。这些报告可用于监控系统的性能和可靠性、识别问题并跟踪一段时间内的趋势。...Prometheus 查询语言 (PromQL) 是一种自定义查询语言，旨在查询时间序列和多维数据以操作存储的指标并将结果创建或变异为更好的指标。...PromQL 还实现了数学/日期时间和其他运算符功能，可以帮助我们创建主动报告以构建我们的云原生监控平台。...使用 PromQL，我们可以编写一行简单的代码来显示我们的 ippools 中可用 IP 地址的当前百分比； sum(ipam_allocations_in_use)/sum(ipam_ippool_size
x Prometheus在对每段Instant vector selector求值的逻辑是这样的： 从该段的timestamp（含）往前找，取第一个找到的data point的值。...如果该段timestamp往前的5分钟范围内没有找到任何data point，则该段无值。...range vector是不能直接用做绘图的，你得用某些function把range vector转换成instant vector才行，比如rate()。...如果step=10m而range duration=5m，那么rate在计算的时候会丢失一半的数据，两个分段之间的data point有一半没有被纳入计算。...前面那张图就存在数据丢失的情况，有一个data point被漏掉了。 因此在使用rate()时，range duration得大于等于step。
通过指标名称node_load1，可以找到当前采集到的主机负载的样本数据。 ?...0x04 让数据说话：PromQL与数据可视化 4.1 理解时间序列 在Node Exporter的/metrics接口中返回的每一行监控数据，在Prometheus下称为一个样本。...通过Gauge指标，用户可以直接查看系统的当前状态： node_memory_MemFree 对于Gauge类型的监控指标，通过PromQL内置函数delta()可以获取样本在一段时间返回内的变化情况。...其中avg()，topk()等都是PromQL内置的聚合操作，irate()，predict_linear()是PromQL内置的函数，irate()函数可以计算一段时间返回内时间序列中所有样本的单位时间变化率...在解决了Prometheus服务可用性的基础上，同时确保了数据的持久化，当Prometheus Server发生宕机或者数据丢失的情况下，可以快速的恢复。
counter 主要有两个方法： Counter 类型数据可以让用户方便的了解事件产生的速率的变化，在 PromQL 内置的相关操作函数可以提供相应的分析，比如以 HTTP 应用请求量来进行说明： 不要将...对于 Gauge 类型的监控指标，通过 PromQL 内置函数 delta() 可以获取样本在一段时间内的变化情况，例如，计算 CPU 温度在两小时内的差异： dalta(cpu_temp_celsius...{host="zeus"}[2h]) 你还可以通过PromQL 内置函数 predict_linear() 基于简单线性回归的方式，对样本数据的变化趋势做出预测。...Histogram 在一段时间范围内对数据进行采样（通常是请求持续时间或响应大小等），并将其计入可配置的存储桶（bucket）中，后续可通过指定区间筛选样本，也可以统计样本总数，最后一般将数据展示为直方图...不同语言关于 Histogram 的客户端库使用文档： Go Java Python Ruby Summary（摘要） 与 Histogram 类型类似，用于表示一段时间内的数据采样结果（通常是请求持续时间或响应大小等
根据上篇文档，Histogram 会在一段时间范围内对数据进行采样（通常是请求持续时间或响应大小等），并将其计入可配置的存储桶（bucket）中。但这句话还是不太好理解，下面通过具体的示例来说明。...假设我们想监控某个应用在一段时间内的响应时间，最后监控到的样本的响应时间范围为 0s~10s。现在我们将样本的值域划分为不同的区间，即不同的 bucket，每个 bucket 的宽度是 0.2s。...想象一下，如果 histogram 类型的指标中加入了额外的标签，或者划分了更多的 bucket，那么样本数据的分析就会变得越来越复杂。...根据 Prometheus 源代码文件 promql/quantile.go 第 108 行的公式： return bucketStart + (bucketEnd-bucketStart)*float64...关于 histogram_quantile 函数的详细使用方式，请参考：PromQL 内置函数。 4.
(Range vector) - 一组在一段时间范围内的时间序列 标量(Scalar) - 一个浮点型的数据值 字符串(String) - 一个简单的字符串 我们还可以在Promql中使用svm/avg...对一条简单的Promql进行分析 好了，解释完Instant Vector概念之后，我们可以着手进行分析了。直接上一条带有聚合函数的Promql把。...调用 promql.ParseExpr 由于Promql较为简单，所以Prometheus直接采用了LL语法分析。在这里直接给出上述Promql的AST树结构。...如果想了解在磁盘中的数据寻址，可以详见笔者之前的博客 的存储结构>> evaluator.Eval 通过populateSeries找到对应的数据，那么我们就可以通过...，当我们找到一个距离ts最近切小于ts的sample时候，只用这个sample的value,其时间戳则用ts(Instant Query指定的时间戳)代替。
聚合操作的设计 聚合函数： PromQL提供了丰富的聚合操作，如sum、avg、max等，允许用户对不同维度的数据进行汇总和分析。...实现： 缓存结构存储了某一段时间窗口内的计算结果，使得后续查询能够直接使用缓存结果，而不必重新计算。这减少了计算时间，提高了查询效率。 7....TSDB（时间序列数据库）的WAL（Write-Ahead Log） 结构： WAL是一种日志结构，用于在数据写入TSDB之前先记录到日志中，以确保数据不会因意外中断而丢失。...WAL（Write-Ahead Logging） 系统设计理论： WAL 是事务日志技术，确保数据在写入数据库前先记录到日志中，以防止数据丢失。这种技术通常用于数据库系统以实现强一致性。...PromQL 中的布尔运算符（如 AND、OR、UNLESS）直接应用了该理论，使用户可以构建复杂的查询。 应用： 通过布尔逻辑，PromQL 允许用户对查询结果进行逻辑组合，以满足特定的监控需求。
我们从上面的架构图可以看出 Prometheus 的主要模块包含:Server, Exporters, Pushgateway, PromQL, Alertmanager, WebUI 等。...PromQL 是Prometheus提供的查询语言模块。可以和一些webui比如grfana集成。...Pushgateway 中，Prometheus 从 Pushgateway 中拉取数据，防止监控数据丢失。...典型的应用如：请求的个数，结束的任务数，出现的错误数等等。重启进程后，会被重置为0，比如MySQL的启动时间。 Gauge:一个既可以增加，又可以减少的度量指标。...Summary:Summary 和 Histogram 类似，由 {quantile=""}， _sum， _count 组成，主要用于表示一段时间内数据采样结果
semantic.go 实现PromQL的语义分析,检查查询是否语法正确且语义合理。 engine.go 定义PromQL执行引擎的接口和数据结构,如执行计划、运算符等。...文件中的 maxCharactersPerLine 变量定义了一行代码的最大字符数。当进行代码美化时，如果某一行的字符数超过了这个值，就会进行换行操作。...它接收一个字符串数组作为参数，遍历数组中的所有行，找出它们的最长公共前缀，并返回公共前缀作为缩进字符串。 needsSplit(line string): 这个函数用于判断一行代码是否需要进行换行。...indent(str string, indent string): 这个函数用于给一段字符串添加缩进。...getAggOpStr函数用于获取聚合操作符（如SUM、AVG等）的字符串表示形式。 getMatchingStr函数用于获取匹配操作符（如=、!=、=~、!~等）的字符串表示形式。
由于PromQL内容较多，将内容分为三篇文章讲述： 一、直观感受PromQL及其数据类型 二、PromQL之选择器和运算符 三、PromQL之函数 想必都知道要使用Msql，必须会用SQL...直观感受PromQL 在详细介绍PromQL之前，我们先通过几个简单的查询来直观感受PromQL。...时间序列的组成： 指标（Metrics）: 包括指标名称 和 一组标签集，如 jvm_memory_used_bytes{application=“provider”, area=“heap”,...的数据类型 Prometheus 一共有4种数据类型： 瞬时向量（Instant vector）：每个时间序列包含单个样本，是给定时间戳的即时值 如： jvm_memory_used_bytes...虽然查询出多条数据，但都是不同的数据 区间向量（Range vector）：每个时间序列包含一段时间范围内的样本数据 如：表示获取1分钟内jvm_memory_used_bytes指标的采样数据 jvm_memory_used_bytes
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
