点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
--------------- | ------------------------------------------------------------ | | auditevents | 暴露当前应用程序的审核事件信息。需要一个AuditEventRepository组件。 | | beans | 显示应用程序中所有Spring Bean的完整列表。 | | caches | 暴露可用的缓存。 | | conditions | 显示自动配置的所有条件信息，包括匹配或不匹配的原因。 | | configprops | 显示所有@ConfigurationProperties。 | | env | 暴露Spring的属性ConfigurableEnvironment | | flyway | 显示已应用的所有Flyway数据库迁移。 需要一个或多个Flyway组件。 | | health | 显示应用程序运行状况信息。 | | httptrace | 显示HTTP跟踪信息（默认情况下，最近100个HTTP请求-响应）。需要一个HttpTraceRepository组件。 | | info | 显示应用程序信息。 | | integrationgraph | 显示Spring integrationgraph 。需要依赖spring-integration-core。 | | loggers | 显示和修改应用程序中日志的配置。 | | liquibase | 显示已应用的所有Liquibase数据库迁移。需要一个或多个Liquibase组件。 | | metrics | 显示当前应用程序的“指标”信息。 | | mappings | 显示所有@RequestMapping路径列表。 | | scheduledtasks | 显示应用程序中的计划任务。 | | sessions | 允许从Spring Session支持的会话存储中检索和删除用户会话。需要使用Spring Session的基于Servlet的Web应用程序。 | | shutdown | 使应用程序正常关闭。默认禁用。 | | startup | 显示由ApplicationStartup收集的启动步骤数据。需要使用SpringApplication进行配置BufferingApplicationStartup。 | | threaddump | 执行线程转储。 |
下载jmx exporter以及配置文件。Jmx exporter中包含了kafka各个组件的指标，如server metrics、producer metrics、consumer metrics等，但这些指标并不是prometheus格式的，因此需要通过重命名方式转变为prometheus格式，重命名规则配置在kafka-2_0_0.yml中。
在体系结构规划期间选择正确的消息传递系统始终是一个挑战，但这是需要确定的最重要的考虑因素之一。作为一名开发人员，我每天都要编写需要服务大量用户并实时处理大量数据的应用程序。
在架构规划期间选择正确的消息传递系统始终是一个挑战，但这是需要确定的最重要的考虑因素之一。作为一名开发人员，我每天都要编写需要服务大量用户并实时处理大量数据的应用程序。
在我们场景下，需要将海量数据透传到我们的Kafka集群，这时候我们常常会遇到这些问题:
前面的例子中，我们学习的都是 Prometheus 自身的内容，即监控的都是机器或者系统层面的指标。那么如果我们需要对 Java 应用做监控，例如：监控 JVM 的信息，监控 Spring Bean 的信息。那我们应该怎么实现呢？
针对应用监控指标暴露，spring boot有一套完整的解决方案，并且内置了好很多的指标收集器，如tomcat、jvm、cpu、kafka、DataSource、spring mvc（缺少直方图的数据）等。基于micrometer技术，几乎支持所有主流的监控服务的指标数据收集，这其中就包含了我们线上使用的Prometheus，这份指南旨在最快速接入boot的metrics功能，暴露prometheus的数据监控指标服务。
我们有充分的理由证明Prometheus是一个日益流行的开源工具。开源工具可以为应用程序和服务器提供监视和警报。 Prometheus的强大优势在于监视服务器端指标，并将其存储为时间序列数据。尽管Prometheus并不适合于应用程序性能管理，主动控制或用户体验监视（尽管GitHub扩展确实使Prometheus可以使用用户浏览器指标），但Prometheus作为监视系统的能力是很强的，并且能够通过联盟实现高可扩展性服务器的数量使Prometheus成为各种使用案例的强大选择。
Prometheus 监控服务（TMP） 1. TMP 和自建有什么区别吗 TMP 完全兼容开源生态，并与腾讯云监控数据打通，帮助用户快速搭建监控体系（自定义监控，组件监控，基础监控等），支持 Grafana 并预设了常用的监控 Dashboard，支持丰富的 Exporter 并预设了常见的告警模板；很好解决了开源社区 Prometheus 高可用搭建困难， Prometheus 性能可扩展性差，运维消耗人力等痛点。 2. TMP 的监控数据是怎么采集的？ 通过 Prometheus agent 拉取
这一版本的主要亮点包括：增加一项新的原生功能，即支持基于非预测型流量模式自动扩展流式应用；针对任务应用提供持续交付；批处理作业；以及组合任务等一系列亮点功能。最后，这个新版本还对指标和监控功能进行了基础性的重新设计，以展示应用现阶段状况并对数据流水线进行故障排除。
官方推荐的部署结构是2master-2slave+2namesrvs，master与slave的同步支持async/sync两种方式。
又到了写年终总结的时候了。每当这个时候思绪总是翻江倒海，因为太久没有反思和总结的缘故，一年才总结一次，确实是有点久，欠的账的太多，梳理起来有点费劲。这里依旧还是写跟点跟工作/技术相关的总结。
计算机语言主要由一套指令组成，而这种指令一般包括表达式、流程控制和集合三大部分内容。 表达式包含变量、常量、字面量和运算符。 流程控制包括分支、循环、函数和异常。 集合包含字符串、数组、散列表等数据结构
1、Kafka是新一代的消息系统，也是目前性能最好的消息组件，在数据采集业务中被广泛应用。这里Kafka将基于Kerberos认证实现消息组件处理。
Spring Boot是一个用于快速构建基于Spring框架的Java应用程序的框架。Kafka是一种分布式流处理平台，用于实时传输和处理大规模数据。通过Spring Boot与Kafka的连接，可以轻松地在Spring应用程序中使用Kafka进行数据流处理。
基于Docker可以很轻松的搭建一个kafka集群，其他机器上的应用如何使用这个kafka集群服务呢？本次实战就来解决这个问题。
前面说了kafka的topic有分区的概念，每个分区又有leader 和 follower，kafka听过ack机制保证消息的可靠性。
这些内容的前提是最好有一些 OpenTelemetry 的背景知识，看起来就不会那么枯燥，为此这篇文章就来做一个入门科普，方便一些对 OpenTelemetry 不是那么熟的朋友快速掌握一些 OpenTelemetry 的基本概念。
其中KafkaProducer是⽤于发送消息的类，ProducerRecord类⽤于封装 Kafka 的消息。
Kafka是一种高吞吐量的分布式流处理平台，它具有高可用、高吞吐量、速度快、易扩展等特性。本篇将介绍如何使用Spring Boot整合Kafka及使用Kafka实现简单的消息发送和消费，主要包括以下3部分内容：
Spring Boot Actuator是Spring Boot 2发布后修改最多的项目之一。它经过了主要的改进，旨在简化定制，并包括一些新功能，如支持其他Web技术，例如新的反应模块 - SpringWebFlux。它还为 InfluxDB添加了开箱即用的支持，这是一个开源时间序列数据库，旨在处理大量带时间戳的数据。与 SpringBoot1.5使用的版本相比，它实际上是一个很大的简化。您可以通过阅读我之前的一篇文章使用Grafana和InfluxDB自定义指标可视化来了解自己有多少。我在那里描述了如何使用 @ExportMetricsWriter bean将[Spring Boot Actuator生成的指标导出到InfluxDB。示例Spring Boot应用程序已在分支主文件中的GitHub存储库sample-spring-graphite上提供该文章。对于本文，我创建了分支spring2，它展示了如何实现与使用Spring Boot 2.0版本之前相同的功能。弹簧启动执行器。
Apache Flink 作为流式处理领域的先锋，为实时数据处理提供了强大而灵活的解决方案。其中，KafkaSink 是 Flink 生态系统中的关键组件之一，扮演着将 Flink 处理的数据可靠地发送到 Kafka 主题的角色。本文将深入探讨 KafkaSink 的工作原理、配置和最佳实践，帮助读者全面掌握在 Flink 中使用 KafkaSink 的技巧和方法。
在上一篇：从 Dapper 到 OpenTelemetry：分布式追踪的演进之旅我们讲解了 Trace 的一些核心概念：
最近项目的消息中间件从nsq切换至kafka,说是为了避免消息丢失的问题。 没有项目管理，让我去推进，大家吭呲吭呲切换了，结果测试的时候发现性能跟不上，功能上没有问题。 kafka的基础组件是由工程院提供，是将官方的sdk包了一层，供各个业务方调用。是一个应届生写的，真搞不懂这么重要的东西，交给应届生去弄。 然后问题来了，业务方怎么用都是性能有问题，很卡顿，性能很差。工程院死活不承认，也不测试，拒不接受问题，反复让业务方提供证据。当业务方一份又一份报告给出的时候，他们就是不认可，极限拉扯。
参考文章：https://www.cnblogs.com/angelyan/p/10800739.html
https://kafka.apache.org/22/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html
距离上次的 Spring Boot 2.4.5 版本发布刚好一个月左右，Spring Boot 又发新版本了！
应用架构是一个系统的高级结构。它是关于系统的一系列决策，包括系统的组成部分、这些部分之间的交互，以及对这些部分的引导性指南。这些决策通常是由企业的IT团队和关键干系人员共同作出的。
A： 多年来，随着新功能的增加，spring变得越来越复杂。只需访问页面https://spring.io/projects，我们将看到所有在应用程序中使用的不同功能的spring项目。如果必须启动一个新的spring项目，我们必须添加构建路径或maven依赖项，配置application server，添加spring配置。因此，启动一个新的spring项目需要大量的工作，因为我们目前必须从头开始做所有事情。Spring Boot是这个问题的解决方案。Spring boot构建在现有Spring框架之上。使用spring boot，我们可以避免以前必须执行的所有样板代码和配置。因此，Spring boot帮助我们更健壮地使用现有的Spring功能，并且只需最少的工作量。
Spring Boot 是最流行和最常用的 Java 编程语言框架之一。它是一个基于微服务的框架，使用 Spring Boot 制作一个可用于生产的应用程序只需很少的时间。Spring Boot 可以轻松创建独立的、生产级的基于 Spring 的应用程序，您可以“直接运行”。下面列出了 Spring boot 的一些主要特性。
只需要在dependencies中增加 spring-kafka的配置即可。完整效果如下：
上文:spring整合中间件(RocketMQ、kafka、RabbitMQ、ActiveMQ、ZeroMQ、TubeMQ、NSQ)
Kafka需要依赖zookeeper，并且自身集成了zookeeper，zookeeper至少需要3个节点保证集群高可用，下面是在单机linux下创建kafka3个节点伪集群模式。
前面我们介绍了使用Prometheus + Grafana 构建了监控系统，那么我们的应用平台怎么监控呢？应用平台中的核心业务的执行情况能否监控呢？那么接下来我们使用Actuator，Micrometer，Prometheus和Grafana监控Spring Boot应用程序，自定义应用监控指标。
答：多年来，随着新功能的增加，spring变得越来越复杂。只需访问页面https://spring.io/projects，我们将看到所有在应用程序中使用的不同功能的spring项目。如果必须启动一个新的spring项目，我们必须添加构建路径或maven依赖项，配置application server，添加spring配置。因此，启动一个新的spring项目需要大量的工作，因为我们目前必须从头开始做所有事情。Spring Boot是这个问题的解决方案。Spring boot构建在现有Spring框架之上。使用spring boot，我们可以避免以前必须执行的所有样板代码和配置。因此，Spring boot帮助我们更健壮地使用现有的Spring功能，并且只需最少的工作量。
在我们之前的博客文章中，我们主要关注跟踪，这是0.14.0版本中的一个新特性。但是跟踪并不是我们在0.14.0中对监视功能进行的惟一改进。我们还对Prometheus的监控进行了一些重大改进。Strimzi几乎从一开始就支持Prometheus的Kafka指标。但是在0.14.0中，通过添加对Kafka导出器（Kafka Exporter ）的支持，我们做出了一些重大改进。Kafka导出器增加了Kafka代理中缺少的一些额外指标。在这篇博文中了解更多关于它们的信息。
Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。 准备 测试用例 Github 代码 代码我已放到 Github ，导入spring-boot-kafka 项目 github https://github.com/souyunku/spring-boo
只管发送， 不管结果： 只调用接口发送消息到 Kafka 服务器， 但不管成功写入与否。 由于 Kafka 是高可用的， 因此大部分情 况下消息都会写入， 但在异常情况下会丢消息。
1、架构体现在组件中的一个系统的基本组织、彼此的关系和环境的关系及指导它的设计和发展的原则 2、系统是组织起来完成某一特定功能或一组功能的组件集 3、环境或者上下文决定了对这个系统的开发、运作、政策以及会对系统造成其他影响的环境和设置 4、任务是由一个或多个利益相关者通过系统达到一些目标的一个用途或操作
本文属于翻译，转载注明出处，欢迎关注微信小程序小白AI博客 微信公众号小白AI或者网站 https://xiaobaiai.net
在上一章中SpringBoot整合RabbitMQ，已经详细介绍了消息队列的作用，这一种我们直接来学习SpringBoot如何整合kafka发送消息。
OS： Centos7 （防火墙已经关闭） IP： 192.168.31.34 APP: Spring Boot 2.1.3搭建的演示环境
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 由于整个系列的实战都涉及到消息生产和消费，所以咱们需要一套监控服务，用于观察各种操作的效果，例如生产消息是否成功、消息是否被消费、有没有发生堆积等 因此，在前文完成了最基本的部署和体验后，今天就一起来把监控服务部署好，为后续的实战提供良好的后勤支撑 今天的实战，假设CentOS操作系统、kubernetes环境、pv这三样都已提前装好，我们要做的是
今天早上到公司的时候，接到开发反馈 DEV 环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为 kafka 集群不可用（总共 3 个 broker，前一天晚上机房停电导致 leader 节点挂了），导致网关的反爬过滤器里面发送 kafka 消息的代码 kafkaTemplat.send 阻塞了 60s，当时在想这个 send 方法不是异步的吗，为什么会阻塞 60s？于是查阅了一些资料，大致搞清楚了原因，这里稍作整理，分享给可能踩坑或者以及踩过坑的同学。
当某个应用程序在生产环境中运行时，监控其运行状况是必要的。通过实时了解应用程序的运行状况，你能在问题出现之前得到警告，也可以在客户注意到问题之前解决问题。
利用账号密码访问 http://localhost:8080/application/prometheus ，可以看到 Prometheus 格式的指标数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
