专栏首页运维之美如何提高 Grafana 海量数据场景下的图表访问速度

如何提高 Grafana 海量数据场景下的图表访问速度

Trickster(tricksterproxy.io)是一个用于 http 应用的 HTTP 反向代理/缓存,也是一个用于时间序列数据库的仪表盘查询加速器。

目前 Trickster 是有由 CNCF 作为沙盒级项目进行托管的,目前 Trickster v1.1 是生产版本,来源于 v1.1.x 分支,主分支来源 Trickster 2.0,目前处于测试阶段。

HTTP 反向代理缓存

Trickster 是一个功能齐全的 HTTP 反向代理缓存工具,适用于 HTTP 应用,如静态文件服务器和 Web API。

功能亮点

  • 一个独特而强大的应用负载均衡器,用于时间序列和通用 HTTP 端点
  • 支持 TLS 和 HTTP/2
  • 为缓存层提供了几种选择,包括内存、文件系统、Redis 和 bbolt
  • 高度可定制,使用简单的 yaml 配置设置,到 HTTP 路径。
  • 内置的 Prometheus 指标和可定制的健康检查端点,用于端到端监控
  • 高性能转发
  • Byte 范围内请求缓存和加速
  • 通过 OpenTelemetry 进行分布式跟踪,支持 Jaeger 和 Zipkin
  • 用于自定义请求路由和重写的规则引擎

时序数据库加速器

Trickster 通过消除 TSDB 上的冗余计算,极大地改善了终端用户的仪表盘图表渲染时间。简而言之,Trickster 对于读取量大的 Dashboard/TSDB 环境,以及那些具有高度标准化数据集的环境,极大提高了性能和可扩展性。

Trickster 兼容 Prometheus、ClickHouse、InfluxDB、Circonus IRONdb

如何加速时间序列

1.时间序列 Delta 代理缓存,大多数仪表盘在每次用户的仪表盘加载时,以及每次自动刷新时,都会向时间序列数据库请求他们希望呈现的整个数据时间范围。Trickster 的 Delta Proxy 会检查客户端查询的时间范围,以确定哪些数据点已经被缓存,并从 tsdb 中只请求仍然需要服务于客户端请求的数据点。这样一来,每个人的图表加载时间都会大大加快,因为 tsdb 在每次加载仪表盘时只查询微小的增量变化,而不是几百个数据点的重复数据。

2. 边界标准化,当 Trickster 从 tsdb 请求数据时,它会稍微调整客户请求的时间范围,以确保返回的所有数据点都与标准化的步长边界一致。例如,如果步长为 300s,所有数据点将落在时钟 0 和 5 上。这确保了数据的高度可缓存性,以更直观地传达给用户,并且所有仪表盘用户在屏幕上看到的数据都是相同的。

3. Fast Forward,Trickster 的 Fast Forward 功能确保了即使在步长边界统一的情况下,实时图表仍然总是显示最新的数据,而不管下一个步长边界有多远。例如,如果你的图表步长是 300s,而时间目前是 1:21p,通常你会在 1:25p 再等 4 分钟才有新的数据点。Trickster 会打破最近数据点的步长间隔,并始终将其包含在对客户请求实时数据的响应中。

“可以通过 https://helm.tricksterproxy.io/ 在 Kubernetes 中进行安装。 ”

本文转载自:「k8s技术圈」,原文:http://t.cn/A6cFu3kr,版权归原作者所有。欢迎投稿,投稿邮箱: editor@hi-linux.com。

本文分享自微信公众号 - 运维之美(Hi-Linux),作者:阳明

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-06-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 云监控上新月报【1月】

    特性合辑 云监控 1 月发布特性总览: ? 特性详情 【Dashboard】 1. Dashboard 展示告警数据:Dashboard 接入告警历史数据,...

    腾讯云监控团队
  • 1月容器技术产品月报 | 留言有奖

    ? 2021年1月 ? ? VOL:09 ? ? ? ? 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ ? 云说新品 ? 容器产品新特性 12月上新 ...

    腾讯云原生
  • 云“战疫”:8天扩容100万核,我们这样做好监控

    疫情当前,科技向善,腾讯应用都开始支撑各大远程工作、教育的场景,众所周知的“腾讯课堂”、“微信课堂”,“腾讯会议”在抗击疫情中做出了很大的贡献,数亿人成为了这些...

    腾讯云监控团队
  • Zabbix Meetup上海站回顾

    首场线下Zabbix Meetup 上海站于4月23日圆满举办,现场有 130 +位嘉宾参加,场面热烈。感谢本次活动的赞助商杭州网银互联科技股份有限公司大力支持...

    Zabbix
  • Kibana,Grafana——错误猎手,系统定海神针

    开发程序出现错误是一件很正常的事,即使有经验的程序员也是如此,关键是要及时发现并定位错误。

    用户2781897
  • SpringBoot的埋点监控你做了吗

    spring-actuator做度量统计收集,使用Prometheus(普罗米修斯)进行数据收集,Grafana(增强ui)进行数据展示,用于监控生成环境机器的...

    Java小咖秀
  • 数据湖加速器GooseFS,加速湖上数据分析性能

    数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(Cloud Object Storage,COS)作为数据湖存...

    云存储
  • springboot实战之prometheus监控整合

    在介绍springboot如何与prometheus整合监控之前,先介绍几个待会整合会用到的工具。

    lyb-geek
  • Prometheus监控学习笔记之容器监控Grafana模块

    Grafana 是一个开源的,可以用于大规模指标数据的可视化项目,甚至还能对指标进行报警。基于友好的 Apache License 2.0 开源协议,目前是pr...

    Jetpropelledsnake21
  • TiDB 在 Mobikok 广告系统中的应用和实践

    Mobikok(可可网络)成立于 2013 年,是一家快速成长的移动互联网营销公司,专注于移动 eCPM 营销。总部在中国深圳,聚焦于订阅 offer 的海外流...

    PingCAP
  • JVM应用度量框架Micrometer实战

    最近线上的项目使用了spring-actuator做度量统计收集,使用Prometheus进行数据收集,Grafana进行数据展示,用于监控生成环境机器的性能指...

    Throwable
  • TiDB 在爱奇艺的应用及实践

    爱奇艺,中国高品质视频娱乐服务提供者,2010 年 4 月 22 日正式上线,推崇品质、青春、时尚的品牌内涵如今已深入人心,网罗了全球广大的年轻用户群体,积极推...

    PingCAP
  • 干货 | 如何构建系统优化成本,携程出海云原生实践

    随着携程国际化战略的开展,为了给海外用户提供更好的服务,携程国际机票有很大一部分数据来源于世界各地的海外供应商和平台,在美国、德国、新加坡等全球众多的海外站点部...

    携程技术
  • Grafana如何助力Zabbix,打造漂亮的监控界面?

    Grafana是一个跨平台的开源的度量分析和可视化工具,有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,官方原生支持Zabbix数据输出,而Gr...

    Zabbix
  • Kubernetes容器集群管理环境 - Prometheus监控篇

    一、Prometheus介绍 之前已经详细介绍了Kubernetes集群部署篇,今天这里重点说下Kubernetes监控方案-Prometheus+Grafan...

    洗尽了浮华
  • 时间序列数据库概览

    背景 目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理,但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。时序大数据解决方案通...

    用户1217611
  • CLS 对接 Grafana

    日志服务(Cloud Log Service,CLS)与 Grafana 打通,支持将 CLS 的原始日志数据与 SQL 聚合分析结果导出,并在 Grafana...

    日志服务CLS小助手
  • 徒手教你制作运维监控大屏

      公司业务的不断发展,紧接而来的是业务种类的增加、服务器数量的增长、网络环境的越发复杂以及发布更加频繁,从而不可避免地带来了线上事故的增多,因此需要对服务器到...

    欢醉
  • 时序数据库 Apache-IoTDB 源码解析之前言(一)

    IoTDB 是一款时序数据库,相关竞品有 Kairosdb,InfluxDB,TimescaleDB等,主要使用场景是在物联网相关行业,如:车联网、风力发电、地...

    刘涛华

扫码关注云+社区

领取腾讯云代金券