首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Cassandra作为kafka中的数据源/生产者

Cassandra作为kafka中的数据源/生产者
EN

Stack Overflow用户
提问于 2019-04-07 14:05:49
回答 2查看 685关注 0票数 0

如何在apache Kafka中集成cassandra作为数据生产者?

在kafka配置上有什么特别的配置吗?

EN

回答 2

Stack Overflow用户

发布于 2019-04-07 14:52:21

卡桑德拉水槽连接器在confluent hub上可用,但卡桑德拉源连接器目前未由kafka.As提供,卡桑德拉源连接器由landoop提供。

但是,Kafka也提供了创建自定义连接器的选项。

您需要扩展SourceConnector连接器类并覆盖它的方法。

代码语言:javascript
复制
public class CassandraSourceConnector extends SourceConnector {


    @Override
    public Class<? extends Task> getTaskClass() {
      return ImplementationClasName.class;
    }

    @Override
    public void start(Map<String, String> props) {
     // Properties
    }

    @Override
    public void stop() {
      // Nothing to do since no background monitoring is required
    }

您可以在https://docs.confluent.io/current/connect/devguide.html上找到完整的信息

在创建cassandra源连接器类之后,您还需要配置它,这可以像Cassandra Sink Connector一样完成。

到目前为止,Landoop Cassandra Source connector仅适用于kafka 1.0和kafka 1.1。我建议您创建自己的连接器。您也可以访问此blog获取信息。

希望,这对你有帮助。

票数 4
EN

Stack Overflow用户

发布于 2019-04-08 08:23:18

若要从外部系统获取数据到Kafka,建议使用Kafka Connect。Kafka Connect是一个框架,提供了一种在Apache Kafka和其他数据系统之间传输数据的可扩展且可靠的方式。

有两种主要类型的sink连接器,source和Kafka连接器。源连接器将数据从外部系统输送到Kafka。接收器连接器通过管道将数据从Kafka输出到外部系统。

为了将数据从Cassandra生成到Kafka,您需要找到一个Cassandra Source连接器。最流行的是Landoop提供的Cassandra Source连接器,作为镜头的一部分,可以是found here。您将使用KCQL (不要与KSQL混淆)来编写连接器查询,以便从Cassandra获取所需的信息。

我推荐你看看这篇博文,Getting started with the Kafka Connect Cassandra Source,来设置所有的东西。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55556101

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档