专栏首页SmartSiKafka Connect 如何安装 Connect 插件

Kafka Connect 如何安装 Connect 插件

1. 简介

Kafka Connect 设计为可扩展的,因此开发人员可以创建自定义 Connector、Transform 或者 Converter。Kafka Connect Plugin 是一组 Jar 文件,其中包含一个或多个 Connector、Transform 或者 Converter 的实现。Connect 将每个 Plugin 相互隔离,以便一个 Plugin 中的库不受任何其他 Plugin 中的库的影响。这在使用来自多个提供商的 Connector 时非常重要。

在 Connect 部署中安装许多 Plugin 很常见,但确保每个 Plugin 只安装一个版本。

Kafka Connect Plugin 可以是:

  • 文件系统上的一个目录,其中包含 Plugin 所需的所有 JAR 以及第三方依赖。这是最常见的,也是我们首选的。
  • 一个包含 Plugin 及其第三方依赖所有类文件的 uber JAR。

Plugin 不应包含 Kafka Connect 运行时提供的任何库。

Kafka Connect 根据 Plugin 路径(worker 配置文件 plugin.path 属性中以逗号分隔的目录路径)来寻找 Plugin。下面显示了一个 worker 配置文件 plugin.path 属性:

plugin.path=/opt/share/kafka/plugins

要安装 Plugin,首先要将 plugin 所在目录或 uber JAR 放在 plugin.path 属性的目录列表中。当我们启动 Connect worker 时,每个 worker 都会在 plugin.path 对应目录中找到的所有 Connector、Transform 或者 Converter。当我们使用 Connector、Transform 或者 Converter 时,Connect worker 首先会从对应的 Plugin 加载类,然后是 Kafka Connect 运行时和 Java 库。

2. 下载

Confluent Hub 打造了一个由 Connector、Transform 以及 Converter 组成的大型生态系统,我们可以从中找到适合我们需求的组件。

我们将以 Kafka Connect JDBC 插件为例,从 Confluent hub 下载会得到 confluentinc-kafka-connect-jdbc-xxx.zip 文件。

3. 安装

将 zip 文件解压到 Kafka Connect 指定的文件夹下(plugin.path 设定的目录)。在这我们将把它放在 /opt/share/kafka/plugins 目录下。文件夹树看起来像这样:

/opt/share/kafka/plugins
└── confluentinc-kafka-connect-jdbc-10.2.2
    ├── doc
    │   ├── LICENSE
    │   └── README.md
    ├── etc
        …
    ├── lib
        …
    │   ├── kafka-connect-jdbc-10.2.2.jar
    │   ├── sqlite-jdbc-3.25.2.jar
    │   ├── postgresql-42.2.19.jar
    │   ├── xmlparserv2-19.7.0.0.jar
        …
    └── manifest.json

4. 配置

在 Kafka Connect 配置文件 connect-standalone.properties(或 connect-distributed.properties)中,搜索 plugin.path 配置,并修改或创建它以包含 Connector 所在的文件夹:

plugin.path=/opt/share/kafka/plugins

参考:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kafka Connect JDBC Source MySQL 全量同步

    从数据库获取数据到 Apache Kafka 无疑是 Kafka Connect 最流行的用例。Kafka Connect 提供了将数据导入和导出 Kafka ...

    smartsi
  • Mysql实时数据变更事件捕获kafka confluent之debezium

    如果你的后端应用数据存储使用的MySQL,项目中如果有这样的业务场景你会怎么做呢?

    XING辋
  • Debezium结合kafka connect实时捕获mysql变更事件写入elasticsearch实现搜索流程

    本文将会实现一套完整的Debezium结合Kafka Connect实时捕获MySQL变更事件写入Elasticsearch并实现查询的流程.

    XING辋
  • 当Elasticsearch遇见Kafka--Kafka Connect

    在“当Elasticsearch遇见Kafka--Logstash kafka input插件”一文中,我对Logstash的Kafka input插件进行了简...

    michelmu
  • kafka连接器两种部署模式详解

    一 kafka Connector介绍 Kafka Connect是一个用于在Apache Kafka和其他系统之间进行可扩展和可靠数据流传输的工具。这使得快速...

    Spark学习技巧
  • Kafka Connect 如何构建实时数据管道

    Kafka Connect 旨在通过将数据移入和移出 Kafka 进行标准化,以更轻松地构建大规模的实时数据管道。我们可以使用 Kafka Connector ...

    smartsi
  • 07 Confluent_Kafka权威指南 第七章: 构建数据管道

    当人们讨论使用apache kafka构建数据管道时,他们通常会应用如下几个示例,第一个就是构建一个数据管道,Apache Kafka是其中的终点。丽日,从ka...

    冬天里的懒猫
  • Kafka 连接器使用与开发

    连接器作为 Kafka 的一部分,是随着 Kafka 系统一起发布的,无须独立安装。

    Se7en258
  • 通过kafka/flink加载MySQL表数据消费 快速安装配置

    说明:对于数据迁移工具来说,好多封装了kafka和flink的,出于好奇,个人试着去下载了一下kafka和flink试着部署一下,本次就简单的记录一下安装过程,...

    用户7689089
  • kafka-connect-hive sink插件入门指南

    kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件,主要由source、sink两部分组成,source部...

    九州暮云
  • 基于腾讯云kafka同步到Elasticsearch初解方式有几种?

    简介: 1、kafka同步到Elasticsearch方式? 目前已知常用的方式有四种: 1)logstash_input_kafka插件; 缺点:不稳定(ES...

    Kami米雅
  • 使用Kafka和ksqlDB构建和部署实时流处理ETL引擎

    在Koverhoop,我们正在保险,医疗保健,房地产和离线分析领域建立一系列大型项目。对于我们的多租户团体保险经纪平台klient.ca,我们将建立强大的搜索功...

    IT大咖说
  • Flink + Debezium CDC 实现原理及代码实战

    Debezium 是一个分布式平台,它将现有的数据库转换为事件流,应用程序消费事件流,就可以知道数据库中的每一个行级更改,并立即做出响应。

    kk大数据
  • Kafka核心API——Connect API

    Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector,可以使用这些connector进...

    端碗吹水
  • Kafka Connect | 无缝结合Kafka构建高效ETL方案

    Kafka connect是Confluent公司(当时开发出Apache Kafka的核心团队成员出来创立的新公司)开发的confluent platform...

    Spark学习技巧
  • Kafka Connect | 无缝结合Kafka构建高效ETL方案

    Kafka connect是Confluent公司(当时开发出Apache Kafka的核心团队成员出来创立的新公司)开发的confluent platform...

    大数据真好玩
  • Kafka Connect | 无缝结合Kafka构建高效ETL方案

    很多同学可能没有接触过 Kafka Connect,大家要注意不是Connector。 Kafka Connect 是一款可扩展并且可靠地在 Apache Ka...

    王知无-import_bigdata
  • Kafka 安装及快速入门

    介绍 官网:http://kafka.apache.org/ Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Ap...

    zhisheng
  • ELK学习笔记之基于kakfa (confluent)搭建ELK

    F5 HSL–>logstash(流处理)–> kafka –>elasticsearch

    Jetpropelledsnake21

扫码关注云+社区

领取腾讯云代金券