在Kafka连接中使用ProtobufConverter时找不到SchemaRegistryClient_连接到在docker容器中运行的Kafka时出错_在docker compose中连接kafka连接器和kafka Broker时，broker可能不可用 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Kafka:用nginx做kafka集群代理（非http）

kafka代理,最近一直在搞kafka，上线前有个将kafka 集群暴露到外网的需求。那么问题来了，在内网时我们有足够的IP资源，但是在公网上时，不可能给每个broker都分配一个IP。那么就需要有一个代理用来转发。

03

工作中遇到的Spark错误(持续更新)

1.java.io.IOException: No spa ce left on device 原因及解决办法：磁盘空间不足

04

您找到你想要的搜索结果了吗？

是的

没有找到

Spring Cloud Config 配置中心实践过程中，你需要了解这些细节！

本文主要介绍 Spring Cloud Config 基本概念、实践过的配置及遇到的问题进行剖析。关于如何启动运行配置中心可以参考官方 Demo。

02

最新更新 | Kafka - 2.6.0版本发布新特性说明

以下是Kafka 2.6.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档。

04

KAFKA删除topic步骤[通俗易懂]

首先修改kafka的配置文件server.properites，修改下面的两个值：

03

Kafka kafka在windows下的安装与配置

1．测试环境.................................................................................................................

03

IDEA中调试Topology出现的错误

在IDEA的maven项目中编写Topology出错： NoClassFound找不到主类：解决– 在pom.xml中，找到中的storm，添加<>compi<>

03

[Spring cloud 一步步实现广告系统] 9. 主类和配置文件

搜索系统启动主类 /** * AdSearchApplication for 广告搜索服务启动类 * * @author Isaac.Zhang | 若初 */ @EnableFeignClients //启动Feign 客户端，为了访问其他微服务 @EnableDiscoveryClient // 开启服务发现组件，在这里等同于 @EnableEurekaClient @EnableHystrix // 开

04

记一次线上升级openresty中kafka版本产生的多版本兼容问题

1、最近项目规划升级kafka版本，从之前的0.11版本升级最新版本的2.4.1；升级过过程遇到了坑，特此记录一下。

01

Flink 1.10.1源码编译(CDH5.16.2)

拉取flink1.10.1的代码后，idea中全局查找一下flink.shaded.version，确定应该选择的flink-shaded版本

03

kafka-2-生产者-流程

https://blog.csdn.net/itcodexy/article/details/109574747

01

[727]python操作kafka

pypi：https://pypi.org/project/kafka-python/ kafka-python：https://github.com/dpkp/kafka-python

02

Flink 实践教程：进阶7-基础运维

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

03

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。

02

Flink 实践教程-进阶（7）：基础运维

流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文首先介绍了几种最常见、最基础的错误，用户在使用的时候可以尽量规避的问题。接下来介绍了流计算 Oceanus 平台的监控系统，可以帮助用户实时了解作业各个层级的明细及运行状态。然后借助于日志系统帮助诊

01

Kafka Consumer的配置

FlinkKafkaConsumer08可以消费一个或多个Kafka topic的数据，它的构造器需要接收以下参数:

01

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。

02

Kafka实战宝典：如何跨机房传输数据

MirrorMaker 为Kafka 内置的跨集群/机房数据复制工具，二进制包解压后bin目录下有kafka-mirror-maker.sh，Mirror Maker启动后，包含了一组消费者，这些消费者属于同一个group，并从多个topic上读取数据，所有的topic均使用该group.id，每个MirrorMaker 进程仅有一个生产者，该生产者将数据发送给目标集群的多个topic；

04

进击消息中间件系列（十八）：Kafka 可视化管理平台EFAK

EFAK的前身就是Kafka-eagle，新版本的Kafka-eagle都称之为EFAK（Eagle For Apache Kafka）。

02

Kafka Eagle 管理平台

源代码地址：https://github.com/smartloli/kafka-eagle

05

Echo 在 Windows 环境下的部署

使用 IDEA 打开本项目，等待所有的依赖下载完毕。然后「修改配置文件中的信息为你自己的本地环境，直接运行是运行不了的」，而且相关私密信息我全部用 xxxxxxx 代替了。

01

SparkSQL真的不支持存储NullType类型数据到Parquet吗?

最近后台有小伙伴提了一些实际工作中使用Spark遇到的问题，笔者挑选了几个相对常见的问题，分别从场景模拟/问题现象、问题分析、解决方案三个层面，来深入分析这些问题，并且提供一个解决类似问题的思路。

03

Flume、Kafka、Storm如何结合使用

如何仔细阅读过关于Flume、Kafka、Storm的介绍，就会知道，在他们各自之间对外交互发送消息的原理。在后面的例子中，主要对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Storm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出。

02

windows安装kafka调试环境_kafka配置

2、解压并进入Kafka目录，我的文件夹：D:\kafka_2.13-3.2.0

04

Kafka快速入门

LEO：Log End Offset，待写入消息的offset，即最后一条消息的offset+1

03

【首席架构师看Event Hub】Kafka深挖 -第2部分:Kafka和Spring Cloud Stream

在这个博客系列的第1部分之后，Apache Kafka的Spring——第1部分:错误处理、消息转换和事务支持，在这里的第2部分中，我们将关注另一个增强开发者在Kafka上构建流应用程序时体验的项目:Spring Cloud Stream。

02

zookeeper集群和kafka集群及nginx-kafka整合搭建

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

02

用java程序完成从kafka队列读取消息到sparkstreaming再从sparkstreaming里把数据导入mysql中

有一段时间没好好写博客了，因为一直在做一个比较小型的工程项目，也常常用在企业里，就是将流式数据处理收集，再将这些流式数据进行一些计算以后再保存在mysql上，这是一套比较完整的流程，并且可以从数据库中的数据再导入到hadoop上，再在hadoop上进行离线较慢的mapreduce计算，这是我后面要进行的项目。

01

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。

04

Kafka 消费者原理（4）

通过前几篇文章我们知道在Partition中，消息是不会删除的，所以才可以追加写入，写入的消息是连续并且有序的。

04

Spring Event 别瞎用！从我司的悲剧中，我总结了6 条最佳实践！

今天我们重点聊聊使用 Spring Event 最为关键的几个问题。这是我司线上生产环境实际踩坑后，总结的极为宝贵的经验！

01

kafka版本不一致导致的一个小问题（二）

背景介绍：我们公司的实时流项目现在用的spark streaming比较多，这里再说下版本： spark streaming2.1.0 kafka 0.9.0.0 spark streaming如果

08

带你涨姿势是认识一下Kafka Producer

上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过消息这个词的，这也是 Kafka 最最核心的内容，Kafka 的消息从哪里来？到哪里去？都干什么了？别着急，一步一步来，先说说 Kafka 的消息从哪来。

03

从前，有一个简单的通道系统叫尤娜……

从前，有个女生宿舍，住着小A、小B、尤娜和我4个人。有天，小A不小心把小B的床板坐塌了。小B非常生气，当场和小A翻脸。不论人缘最好的尤娜怎么中间调解都不管用。一直到毕业，小A和小B再没有说过一句话。

03

Kafka 新版生产者 API

把消息发送给服务器，但并不关心它是否正常到达。大多数情况下，消息会正常到达，因为 Kafka 是高可用的，而且生产者会自动尝试重发。不过，使用这种方式有时候也会丢失一些消息。

02

用ClickHouse近乎实时地进行欺诈检测

以下是我们如何确保我们不断发展的Gojek生态系统对我们的客户、司机伙伴和商户伙伴是安全的。在Gojek，我们不断寻求创新的解决方案，以解决我们不断变化的挑战，为我们的客户、司机伙伴、商户伙伴和我们的整个生态系统保持平台安全。 ClickHouse正是用于这一目的。它是我们最近部署的技术之一，以打击我们平台上的欺诈者。在这篇文章中，我们旨在描述我们采用ClickHouse的方法，涵盖以下主题。使用ClickHouse的一个简化用例为ClickHouse建立一个数据管道我们的生产设置 ◆ 我们正

02

「首席看Event Hub」如何在您的Spring启动应用程序中使用Kafka

在体系结构规划期间选择正确的消息传递系统始终是一个挑战，但这是需要确定的最重要的考虑因素之一。作为一名开发人员，我每天都要编写需要服务大量用户并实时处理大量数据的应用程序。

04

「Spring和Kafka」如何在您的Spring启动应用程序中使用Kafka

在架构规划期间选择正确的消息传递系统始终是一个挑战，但这是需要确定的最重要的考虑因素之一。作为一名开发人员，我每天都要编写需要服务大量用户并实时处理大量数据的应用程序。

03

python 操作kafka

最近项目中总是跟java配合，我一个写python的程序员，面对有复杂数据结构的java代码转换成python代码，确实是一大难题，有时候或多或少会留有一点坑，看来有空还得看看java基础。这不今天又开始让我们连接kafka啦。公司的kafka跟zookeeper做了群集，连接比较麻烦，具体如何使用，java那面做的封装我也看不到，所以只能通过简单的沟通。

01

kafka概述 01 0.10之后的kafka版本有哪些有意思的feature？【kafka技术图谱 1/50】

# **kafka release reviews: what happen from kafka 0.10 to 2.6*

04

配置客户端以安全连接到Kafka集群- Kerberos

这是有关Apache Kafka安全性的简短博客文章系列的第一部分。在本文中，我们将说明如何配置客户端以使用不同的身份验证机制对集群进行身份验证。

02

安装 php-rdkafka 扩展并使用 Kafka 记录日志

最近项目的用户日志达到了上亿条，之前图方便，直接存储到MySQL，然后大数据的技术让我把这些日志都存储到Kafka

01

SpringBoot连接kafka——JavaDemo

Spring Boot是一个用于快速构建基于Spring框架的Java应用程序的框架。Kafka是一种分布式流处理平台，用于实时传输和处理大规模数据。通过Spring Boot与Kafka的连接，可以轻松地在Spring应用程序中使用Kafka进行数据流处理。

03

30个Kafka常见错误小集合

原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在或者设置auto.create.topics.enable参数

04

Zabbix监控之从Kafka中获取消费进度和lag

在0.9及之后的版本，kafka自身提供了存放消费进度的功能。本文讲解的是如何从kafka自身获取消费进度。从zookeeper中获取消费进度请阅读我的另一片文章传送门

04

openresty中http请求body数据过大的处理方案

ngx.req.read_body() local args = ngx.req.get_body_data()

04

MySQL Binlog 解析工具 Maxwell 详解

Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。官网(http://maxwells-daemon.io)、GitHub(https://github.com/zendesk/maxwell)

04

KafkaProducer源码分析

Broker：Kafka的服务端即Kafka实例，Kafka集群由一个或多个Broker组成，主要负责接收和处理客户端的请求

01

SparkStreaming读Kafka数据写HBase

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson介绍过《如何使用Spark Streaming读取HBase的数据并写入到HDFS》，关于SparkStreaming的应用场景很多，本篇文章Fayson主要介绍使用Scala语言开发一个SparkStreaming应用读取Kafka数据并写入HBase。

03

01 . 消息队列之(Kafka+ZooKeeper)

Kafka最核心的最成熟的还是他的消息引擎，所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka也是目前性能最好的消息中间件。

06

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭