指标、日志和链路跟踪是端到端可观察性的核心支柱。尽管对于获得云原生架构的完整可见性至关重要，但端到端的可观察性对于许多 DevOps 和 SRE 团队来说仍然遥不可及。这是由于多种原因造成的，所有这些原因都以工具为共同点。由于超大规模云提供商和容器化微服务的使用不断增加，日志管理市场必须解决这一工具难题，才能实现其预计的从2020 年的 19 亿美元到 2026 年的 41 亿美元的扩张。
欧洲航天局科学数据中心（the European Space Agency Science Data Center，简称ESDC）利用TimescaleDB扩展切换到用PostgreSQL来存储他们的数据。ESDC的各种数据，包括结构化的、非结构化的和时间序列指标在内接近数百TB，还有使用开源工具查询跨数据集的需求。
这两年互联网行业掀着一股新风，总是听着各种高大上的新名词。大数据、人工智能、物联网、机器学习、商业智能、智能预警啊等等。
时间序列用于现代监控，作为表示随时间收集的度量数据的方式。这样，现代性能指标可以以智能和有用的方式存储和显示，帮助我们监控我们的服务器和服务。
Elastic 可观测解决方案里面一些最常用的集成插件在最新版本里面默认使用更加经济高效的时间序列索引来存储指标数据。Kubernetes、Nginx、System、AWS、Azure、RabbitMQ、Redis 和更多的常用 Elastic 可观测集成插件开始支持时间序列数据流 (TSDS)。
Prometheus(由go语言开发)是一套开源的监控&报警&时间序列（按照时间排序）数据库的组合。适合监控docker 容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。它可以监控主机，服务，容器
至此我们了解到Apache IoTDB(物联网数据库)是为时间序列数据设计的集成数据管理引擎。它为用户提供
Prometheus内部主要分为三大块，Retrieval是负责定时去暴露的目标页面上去抓取采样指标数据，Storage是负责将采样数据写磁盘，PromQL是Prometheus提供的查询语言模块
之前的文章“ 时间序列数据和MongoDB：第一部分 - 简介 ”中，介绍了时间序列数据的概念，然后介绍了一些常见问题，可用于帮助收集时间序列应用程序。这些问题的答案有助于指导支持大批量生产应用程序部署所需的架构和 MongoDB 数据库配置。现在，我们将重点介绍两种不同的模式设计如何影响读取，写入，更新和删除操作下的内存和磁盘利用率。
Druid 数据源通常等效于关系数据库中的表。Druid 的lookups行为与数仓型数据库的维表相似，但是正如您将在下面看到的那样，如果可以避免，通常建议使用非规范化。
今天为大家推荐一些翻译整理的大数据相关的学习资源，希望能给大家带来价值。
一些内存数据结构比其他数据结构来得更高效;如果充分利用Redis，Spark运行起来速度更快。 Apache Spark已逐渐俨然成为下一代大数据处理工具的典范。通过借鉴开源算法，并将处理任务分布到计算节点集群上，无论在它们在单一平台上所能执行的数据分析类型方面，还是在执行这些任务的速度方面，Spark和Hadoop这一代框架都轻松胜过传统框架。Spark利用内存来处理数据，因而速度比基于磁盘的Hadoop大幅加快(快100倍)。 但是如果得到一点帮助，Spark可以运行得还要快。如果结合Spark和R
管理大数据所需的许多功能是其中一些是事务，数据突变，数据校正，流媒体支持，架构演进，因为酸性事务能力Apache提供了四种，用于满足和管理大数据。
在监控和可观察领域，Prometheus 和 Thanos 已成为处理时间序列数据的两个强大工具。这两个系统都提供强大的特性和功能，帮助组织获得对其基础设施和应用程序的宝贵见解。
时序数据库，全称为时间序列数据库，主要用于处理带时间标签（按照时间的顺序变化，即时间序列化）的数据。这些数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生。这些工业数据的典型特点是产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。
InfluxDB 3.0 现在是当前和未来所有 InfluxDB 产品的基础，首次为 InfluxDB 平台带来了高性能、无限基数、SQL 支持和低成本对象存储。InfluxDB 3.0 在 Rust 中作为列式数据库开发，在单个数据存储中引入了对各种时间序列数据（指标、事件和跟踪）的支持，以支持依赖于高基数时间序列数据的可观测性、实时分析和 IoT/IIoT 用例。
第2章 Prometheus简介 ---- 2.1 Prometheus起源 Prometheus的灵感来自谷歌的Borgmon。它最初由前谷歌SRE Matt T.Proud开发，并转为一个研究项目。在Proud加入SoundCloud之后，他与另一位工程师Julius Volz合作开发了Prometheus。后来其他开发人员陆续加入了这个项目，并在SoundCloud内部继续开发，最终于2015年1月将其发布 Facebook发现85％的查询是针对26小时内的数据 ---- 2.2 Prometheus
这种列存储文件格式专为物联网的独特需求而设计，旨在减少网络传输和云计算资源的消耗。
数据结构与算法教程在监控软件中具有广泛的优势和应用场景。这些教程提供了开发人员所需的基础知识和技术，帮助他们更好地设计、开发和优化监控软件。
https://blog.csdn.net/ransom0512/article/details/78114167
物联网系统中，需要实时处理的数据可通过队列送入流处理引擎；不需要实时处理的数据，用于离线分析或数据挖掘，需要先存储起来。物联网系统的数据存储的方式很多，要根据实际场景来选择。
特别适合用来做监控类别的数据存储，它的底层是基于HBase，是一种以Metirc为单元的存储结果，可以实现大数据量下的毫秒级别的查询
时序数据，是在一段时间内通过重复测量（measurement）而获得的观测值的集合；将这些观测值绘制于图形之上，它会有一个数据轴和一个时间轴；
Prometheus 最初是 SoundCloud 构建的开源系统监控和报警工具，是一个独立的开源项目，于2016年加入了 CNCF 基金会，作为继 Kubernetes 之后的第二个托管项目。
本文对 Thanos 和 VictoriaMetrics 进行了比较，讨论了它们是什么、它们的架构组件以及它们的差异。
Prometheus 是由 SoundCloud 开源监控告警解决方案。2012年成为在社区开源，拥有非常活跃的开发人员和用户社区，Prometheus于2016年加入云原生计算基金会（CNCF），成为继k8s之后的第二个托管项目。
新型数据库技术是信息技术领域中不断发展和创新的一部分，它们旨在解决传统数据库系统面临的挑战，如大数据量的处理、实时分析、云服务集成、数据安全性和多模型支持等。以下是一些当前备受关注的新型数据库技术：
Prometheus是用于监控和可观察性的标准开源解决方案之一。 Prometheus于2012年起源于SoundCloud，迅速获得广泛采用，后来成为首批CNCF项目之一，第二个毕业项目（仅次于Kubernetes）。它被许多具有前瞻性思维的公司用于生产，包括DigitalOcean、Fastly和Weaveworks等重量级公司，并拥有自己的年度会议PromCon。
在当今信息时代，数据的存储和管理变得越来越重要。无论是云存储、数据库还是分布式文件系统，都需要高效的数据存储和检索方法。其中，LSM树（Log-Structured Merge Tree）是一种高性能的数据结构，广泛应用于各种分布式存储系统和数据库引擎中。本文将介绍LSM树的原理，并探讨其在不同使用场景中的应用。
万物互联时代，工业物联网产生的数据量比传统的信息化要多数千倍甚至数万倍，并且是实时采集、高频度、高密度，动态数据模型随时可变。传统数据库在对这些数据进行存储、查询、分析等处理操作时捉襟见肘，迫切需要一种专门针对时序数据来做优化的数据库系统，即时间序列数据库。
监控粒度、监控指标完整性、监控实时性是评价监控系统的三要素。从分层体系可以把监控系统分为三个层次：
物联网云平台是一个连接设备和互联网的系统，通过传感器、设备和网络进行数据采集和传输，需要一个可靠和高效的存储系统来存储和管理大量的物联网数据。存储的意义在于提供数据的持久性和可访问性，使得数据可以在任意时间被查询、分析和应用。
时间序列数据日益成为现代应用的核心 - 想想物联网，股票交易，点击流，社交媒体等。随着从批量处理系统向实时系统的转变，有效捕获和分析时间序列数据可以使组织在竞争对手之前更好地检测和响应事件，或提高运营效率以降低成本和风险。使用时间序列数据通常与常规应用程序数据不同，您应该遵循最佳实践。本系列博客旨在提供这些最佳实践，帮助您在 MongoDB 上构建时间序列应用程序：
IoTDB即物联网数据库，是一个面向时间序列数据的集成数据管理引擎，可以为用户提供特定的数据收集、存储和分析服务。由于其轻量级结构、高性能和可用特性，以及与Hadoop和Spark ecology的紧密集成，IoTDB满足了物联网工业领域的海量数据集存储、高速数据输入和复杂数据分析的要求。
本文获文章作者授权翻译，转载需要注明来自公众号EAWorld 作者：Daniel Berman 译者：白小白 原题：Prometheus vs. Graphite: Which Should You Choose for Time Series or Monitoring原文：https://logz.io/blog/prometheus-vs-graphite/ 全文3742字，阅读约需要15分钟 任何系统、应用程序、产品或流程的关键性能指标之一是某些参数或数据点在一段时间内的表现。比如，如何在几秒钟
关系数据库管理系统（RDBMS） SQLServer：世界最有活力的数据库； MySQL：世界最流行的开源数据库； PostgreSQL：世界最先进的开源数据库； Oracle 数据库：对象-关系型数据库管理系统。 框架 Apache Hadoop：分布式处理架构，结合了 MapReduce（并行处理）、YARN（作业调度）和HDFS（分布式文件系统）； Tigon：高吞吐量实时流处理框架。 分布式编程 AddThis Hydra ：最初在AddThis上开发的分布式数据处理和存储系统；
随着物联网的普及和工业技术的不断发展，高效管理海量时间序列的需求越来越广泛，数据量越来越庞大。时间序列主要分为两种，即单元时间序列和多元时间序列。单元时间序列是指一个具有单个时间相关变量的序列，单元时间序列只包含一列时间戳和一列值。多元时间序列是指一个具有多个时间相关变量的序列，多元时间序列包含多个一元时间序列作为分量，各个一元时间序列的采样时间点相同，所以数据可以用矩阵形式表示，每行为一个时间点，每列为一个一元时间序列。
时间序列是在特定时间点的一系列测量。例如温度、股票价格、汽车速度、流速、CPU 使用率等，通常在某个时间点观察，然后也在某个时间点存储。例如测量每天早上 8 点的温度，并把将其放在一些测量日志之中，这样每个数据点会对应特定的日期。将数据与时间联系在一起，例如将日期作为横轴，将数据点绘制成为曲线会展现出其他信息，例如温度变化的趋势。
Apache Druid 适用于对实时数据提取，高性能查询和高可用要求较高的场景。因此，Druid 通常被作为一个具有丰富 GUI 的分析系统，或者作为一个需要快速聚合的高并发 API 的后台。Druid 更适合面向事件数据。
在Cloudera Manager中我么可以看到很多图表，CDH的组件如HDFS、HBase等都有大量的描述CPU、磁盘、作业队列等的图表，这些图表可以通过tsquery语句进行构建，tsquery语言是指从Cloudera Manager时间序列数据存储中检索时间序列数据的语句。
微信的多维指标监控平台，具备自定义维度、指标的监控能力，主要服务于用户自定义监控。作为框架级监控的补充，它承载着聚合前 45亿/min、4万亿/天的数据量。
在时间序列预测中，脏乱数据的存在会影响最终的预测结果。这是肯定的，尤其是在这个领域，因为时间依赖性在处理时间序列时起着至关重要的作用。
Apache Hadoop：分布式处理架构，结合了 MapReduce（并行处理）、YARN（作业调度）和HDFS（分布式文件系统）；
3、prometheus根据配置定时去拉取各个节点的数据，默认使用的拉取方式是pull
在Prometheus中，存储时间序列数据的是它自带的时间序列数据库，也被称为Prometheus存储引擎（Prometheus Storage Engine）。Prometheus存储引擎具有以下特点：
题图来自 Prometheus TSDB (Part 1): The Head Block[1]
这只是市场上主流数据库的一小部分，实际上还有很多其他数据库类型和实现。选择适合项目需求的数据库类型通常取决于数据模型、性能需求、可扩展性等因素。
Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数 据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动 了prometheus的发展。 https://prometheus.io/docs/introduction/overview/
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
