如何在apache Kafka中集成cassandra作为数据生产者?
在kafka配置上有什么特别的配置吗?
发布于 2019-04-07 14:52:21
卡桑德拉水槽连接器在confluent hub上可用,但卡桑德拉源连接器目前未由kafka.As提供,卡桑德拉源连接器由landoop提供。
但是,Kafka也提供了创建自定义连接器的选项。
您需要扩展SourceConnector
连接器类并覆盖它的方法。
public class CassandraSourceConnector extends SourceConnector {
@Override
public Class<? extends Task> getTaskClass() {
return ImplementationClasName.class;
}
@Override
public void start(Map<String, String> props) {
// Properties
}
@Override
public void stop() {
// Nothing to do since no background monitoring is required
}
您可以在https://docs.confluent.io/current/connect/devguide.html上找到完整的信息
在创建cassandra源连接器类之后,您还需要配置它,这可以像Cassandra Sink Connector一样完成。
到目前为止,Landoop Cassandra Source connector仅适用于kafka 1.0和kafka 1.1。我建议您创建自己的连接器。您也可以访问此blog获取信息。
希望,这对你有帮助。
发布于 2019-04-08 08:23:18
若要从外部系统获取数据到Kafka,建议使用Kafka Connect。Kafka Connect是一个框架,提供了一种在Apache Kafka和其他数据系统之间传输数据的可扩展且可靠的方式。
有两种主要类型的sink
连接器,source
和Kafka连接器。源连接器将数据从外部系统输送到Kafka。接收器连接器通过管道将数据从Kafka输出到外部系统。
为了将数据从Cassandra生成到Kafka,您需要找到一个Cassandra Source连接器。最流行的是Landoop提供的Cassandra Source连接器,作为镜头的一部分,可以是found here。您将使用KCQL (不要与KSQL混淆)来编写连接器查询,以便从Cassandra获取所需的信息。
我推荐你看看这篇博文,Getting started with the Kafka Connect Cassandra Source,来设置所有的东西。
https://stackoverflow.com/questions/55556101
复制相似问题