作者 金 戈 沃趣科技技术专家 传统监控系统面临的问题 Prometheus的前身：Borgmon Borgmon介绍 应用埋点 服务发现 指标采集与堆叠 指标数据存储 指标 指标的查询 规则计算
今天谈下大数据平台构建中的数据采集和集成。在最早谈BI或MDM系统的时候，也涉及到数据集成交换的事情，但是一般通过ETL工具或技术就能够完全解决。而在大数据平台构建中，对于数据采集的实时性要求出现变化，对于数据采集集成的类型也出现多样性，这是整个大数据平台采集和集成出现变化的重要原因。
数据库中间件监控实战，MySQL中哪些指标比较关键以及如何采集这些指标了。帮助提早发现问题，提升数据库可用性。
Zabbix 作为一个老牌的开源监控方案，长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储，无法应对更大规模的监控。TiDB 兼容 MySQL 协议，可以替换 MySQL 从而增强 Zabbix 的大规模监控能力，实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑，弥补因 TiDB 和 MySQL 差异造成的诸多问题，成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
本文的内容可能和之前的金融企业将 TiDB 应用在业务上的实践不同，下面主要介绍我们如何把 TiDB 应用在金融行业的后台运维监控上。Zabbix 作为一个老牌的开源监控方案，长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储，无法应对更大规模的监控。TiDB 兼容 MySQL 协议，可以替换 MySQL 从而增强 Zabbix 的大规模监控能力，实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑，弥补因 TiDB 和 MySQL 差异造成的诸多问题，成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
SkyWalking是一个分布式系统的应用程序性能监视（APM）工具，专为微服务、云原生架构和基于容器（K8s）架构而设计。当前版本具备了全路径跟踪、指标采集、日志记录等功能，并对多种编程语言及平台（Java/C/C++/Go/Rust/Node/PHP等）提了采集代理（agent），并对service mesh（stio + Envoy ）提供支持。
ELK Stack 日志收集和检索平台想必大家应该比较熟悉，Elasticsearch + Filebeat + Logstash + Kibana。
总第514篇 2022年 第031篇 全量SQL（所有访问数据库的SQL）可以有效地帮助安全进行数据库审计，帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取，而美团选用了一种非侵入式的旁路抓包方案，使用Go语言实现。无论采用哪种方案，都需要重点关注它对数据库的性能损耗。 本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践，希望能对大家有所帮助或启发。 1 背景 2 现状及挑战 3 分析及优化 3.1 数据采集端介绍 3.2 基础性
最近公司正在往云原生进行转型，想拥有一套适合当前项目的监控系统，基于这个出发点，我们团队考虑使用 Prometheus 和 Grafana 组件。本篇将会以图解的方式剖析 Prometheus 的原理。
MySQL在业界流行多年，很好地支撑了携程的业务发展。但随着技术多元化及业务的不断发展，MySQL也遇到了新的挑战，主要体现在：业务数据模型呈现多元化，OLTP和OLAP出现融合的趋势；在MySQL数据库上慢查询治理成本高；使用传统的分库分表方案对开发不友好，核心数据库改造成分库分表方案，时间一般以年为单位。
在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。
Zabbix 由 Alexei Vladishev 创建，目前由其成立的公司—— Zabbix SIA 积极的持续开发更新维护， 并为用户提供技术支持服务
本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入数仓。
高可靠、高性能、具备全方位可观测性的采集引擎，与面向应用的易管控、易观测、易治理的管理平台，大幅降低日志数据采集接入成本，大幅提升日志数据采集接入效率。
在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。
对于我们这些大规模使用Zabbix的用户来说，最关心的问题之一就是：Zabbix能承受多大规模的数据写入量？我最近的一些工作正好以此为中心，远期来看，我可能会有一个超大量级的环境（大约32000+台设备）需要通过Zabbix实现完全监控。在Zabbix论坛里有一个模块讨论大型环境的监控，但是不走运的是，我并没有找到一个完善的系列解决方案来实现大型环境的监控。
纪成，携程数据开发总监，负责金融数据基础组件及平台开发、数仓建设与治理相关的工作。对大数据领域开源技术框架有浓厚兴趣。
摘要：本文根据2020年DTCC数据库大会分享内容整理而成。工商银行在2014年就开始推广使用MySQL。时至今日，生产环境的MySQL节点数量已经发展到近万个；应用场景也从外围低等级应用，推广到核心高等级应用。此次与大家分享，为承接核心业务数据存储的重担，工商银行在MySQL应用治理方面的思路和方案。
在高并发分布式环境下，对于访问量大的业务、接口等，需要及时的监控网站的健康程度，防止网站出现访问缓慢，甚至在特殊情况出现应用服务器雪崩等场景，在高并发场景下网站无法正常访问的情况，这些就会涉及到分布式监控系统，对于核心指标提前监控，防患于未然。
InfluxDB 1.x 否 事件数据默认存储MySQL，支持存储到InfluxDB,如有使用InfluxDB需求则必须需要部署
InfluxDB 数据模型将时间序列数据组织到存储桶和测量中。一个桶可以包含多个测量值。测量包含多个标签和字段。
本文是我从业多年开发生涯中针对线上业务的处理经验总结而来，这些业务或多或少相信大家都遇到过，因此在这里分享给大家，大家也可以看看是不是遇到过类似场景。本文大纲如下，
Lepus是一套开源的数据库监控平台，目前已经支持MySQL、Oracle、SQLServer、MongoDB、Redis等数据库的基本监控和告警（MySQL已经支持复制监控、慢查询分析和定向推送等高级功能）。Lepus无需在每台数据库服务器部署脚本或Agent，只需要在数据库创建授权帐号后，即可进行远程监控，适合监控数据库服务器较多的公司和监控云中数据库，这将为企业大大减化监控部署流程，同时Lepus系统内置了丰富的性能监控指标，让企业能够在数据库宕机前发现潜在性能问题进行处理，减少企业因为数据库问题导致的直接损失。
▍InLong(应龙) : 中国神话故事里的神兽，可以引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本，InLong 发布了大量重大特性，主要包括以下内容： 管控能力增强
InLong（应龙）: 中国神话故事里的神兽，可以引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。 InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本，InLong 发布了大量重大特性，主要包括以下内容： 1、管控能力增
在zabbix客户端的配置文件zabbix_agentd.conf中添加上自定义的“UserParameter”，目的是方便zabbix调用我们上面写的那个脚本去获取待监控服务的信息。
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案，作为私有云TStack平台重要的数据库产品能力，旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景，在外部市场中也有诸多应用场景；2014年被WeBank选中，作为其核心交易系统的数据库解决方案，以私有云方式交付；2015年，在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务，客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
微服务作为当前系统架构的主流选型，虽然可以应对复杂的业务场景，但是随着业务扩展，微服务架构本身的复杂度也会膨胀，对于一些核心的业务流程，其请求链路会涉及到多个业务服务，少则三五个，多则十几个都很常见：
早期，一直在用zabbix，不过随着业务的快速发展，以及互联网公司特有的一些需求，现有的开源的监控系统在性能、扩展性、和用户的使用效率方面，已经无法支撑了。
可观测性 Observability 是近几年来随着应用微服务和容器化推进而引领出来的一个概念。其提出的最核心的三个方向 Monitoring 、Logging 和 Tracing 目前也已广泛的被各从业人员和SaaS 服务商接受，并应用在项目当中。当下具备一个可观测性分析的平台以及作为云原生时代微服务系统基础组件，不管是从 CNCF 社区还是公有云平台开放性与性能是决定平台价值的核心要素。在复杂的微服务场景下和多维度的监控数据，对 KubeGems 的可观测性设计实现带了诸多挑战。本次分享也从一个使用者的角度快速介绍当前 KubeGems 可观测性的功能。
当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。
GreatSQL季报（2021.12.26） https://mp.weixin.qq.com/s/FZ_zSBHflwloHtZ38YJxbA
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
BeeAPM是一个分布式跟踪和应用性能监控系统。该系统应用JavaAgent技术，使用bytebuddy（基于ASM的框架）进行字节码植入，从而对java应用程序进行相关数据采集和性能监控， 对应用无侵入。
Prometheus 监控服务（TMP） 1. TMP 和自建有什么区别吗 TMP 完全兼容开源生态，并与腾讯云监控数据打通，帮助用户快速搭建监控体系（自定义监控，组件监控，基础监控等），支持 Grafana 并预设了常用的监控 Dashboard，支持丰富的 Exporter 并预设了常见的告警模板；很好解决了开源社区 Prometheus 高可用搭建困难， Prometheus 性能可扩展性差，运维消耗人力等痛点。 2. TMP 的监控数据是怎么采集的？ 通过 Prometheus agent 拉取
平台目前大多数任务都是Spark任务，用户在提交Spark作业的时候都要进行的一步动作就是配置spark executor 个数、每个executor 的core 个数以及 executor 的内存大小等，这项配置目前基本靠用户个人经验，在这个过程中，有的用户就会设置非常不合理，比如配置的内存非常大，实际上任务运行时所占用的内存极少. 基于此，希望能有工具来针对任务进行分析，帮助用户来监控和调优任务，并给出一些建议，使任务更加有效率，同时减少乱配资源影响其他用户任务运行的情况。
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！
【前言】作为中国的 “Fivetran/Airbyte”, Tapdata Cloud 自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，Tapdata Cloud 3.0 将正式推出商业版服务，提供对生产系统的 SLA 支撑。Tapdata 目前专注在实时数据同步和集成领域，核心场景包括以下几大类： √ 实时数据库同步，如 Oracle → Oracle, Oracle → MySQL, MySQL → MySQL 等 √ 数据入湖入仓，或者为现代数据平台供数，如： △ 常规 ETL 任务（建宽表、数据清洗、脱敏等） △ 为 Kafka/MQ/Bitsflow 供数或下推
2.Transfer http:6060 rpc:8433 socket:4444
Zabbix是一个企业级的开源分布式监控解决方案，由一个国外的团队持续维护更新，软件可以自由下载使用，运作团队靠提供收费的技术支持赢利。 Zabbix官方网站：http://www.zabbix.com
在这之前，我们相继卷完了：关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 、大数据 Hadoop框架、PostgreSQL 数据库、消息中间件 Kafka、分布式协调中间件 Zookeeper、消息中间件 RabbitMQ 这些系列的知识体系。今天开始，我们将踏上另一个系列的学习之路：企业级监控平台。
在微服务架构中，一次请求往往涉及到多个模块，多个中间件，多台机器的相互协作才能完成。这一系列调用请求中，有些是串行的，有些是并行的，那么如何确定这个请求背后调用了哪些应用，哪些模块，哪些节点及调用的先后顺序？如何定位每个模块的性能问题？本文将为你揭晓答案。
作为一名DBA，SQL优化是工作中必不可少的部分。如何快速、准确的发现待优化的语句，是DBA经常需要考虑的问题。很多数据库都内置有慢查询、SQL报告等能力，这也是DBA作为SQL优化的通常入口。但在长时间的工作中也发现，系统提供出的SQL并不能全面反映语句运行情况，甚至会误导优化的方向。下文是笔者在数年前萌发的一个产品（暂定名MyTopSQL）想法，很遗憾因各种客观因素未能落地。近期看到多篇AI+DB结合的文章，颇受启发；特分享出此文。本文没有多么高端的算法理论，只是些简单的数理统计，但相信同样能具有不小的价值。如读者感兴趣想尝试实现，可与我沟通。
良好的监控环境为腾讯云容器服务高可靠性、高可用性和高性能提供重要保证。您可以方便为不同资源收集不同维度的监控数据，能方便掌握资源的使用状况，轻松定位故障。 腾讯云容器服务提供集群、节点、工作负载、Pod、Container 5个层面的监控数据收集和展示功能。 收集监控数据有助于您建立容器集群性能的正常标准。通过在不同时间、不同负载条件下测量容集群的性能并收集历史监控数据，您可以较为清楚的了解容器集群和服务运行时的正常性能，并能快速根据当前监控数据判断服务运行时是否处于异常状态，及时找出解决问题的方法。例如，您可以监控服务的 CPU 利用率、内存使用率和磁盘 I/O
Prometheus+Grafana是监控告警解决方案里的后起之秀，比如大家熟悉的PMM，就是使用了这个方案；前不久罗老师在3306pi公众号上就写过完整的使用教程《构建狂拽炫酷屌的MySQL 监控平台》，所以我们在这里就不再赘述具体如何搭建使用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
