我们正在尝试使用IgniteSourceConnector producer来推送Ignite事件。但由于高负载和只有一个分区，我们有时会得到如此多的延迟，这可能不是我们未来的最佳解决方案。因此，我们计划有多个消费者组，但由于我们将只有一个分区，这将导致一致性问题，因为我们需要队列排序。 有没有人能对此提个建议？我们可以通过IgniteSourceConnector为主题配置多个分区吗
浏览 21提问于2021-07-21得票数 0
我有3个数据源，它们提供了访问它们的api，每个数据源都提供了一些信息，我想处理所有这三个请求，并将它们保存在数据库中的单个请求中。所以我的问题是，如果所有这些源都有一个公共ID，并将其保存在数据库中并向下游系统发送单个请求，Kafka是否可以合并这些请求？
浏览 42提问于2019-05-06得票数 0
回答已采纳
我想将我的Kafka主题数据复制到ignite节点。但情况是Kafka服务器运行在AWS实例上，而Ignite运行在我的机器上。那么，我提供给connector.properties的XML文件的内容应该是什么呢？提前谢谢。
浏览 2提问于2021-05-14得票数 1
2回答
我正在尝试使用kafka将数据从oracleDB传输到mongoDB。所以我配置了卡夫卡集群，就像上面的图片一样。我知道调整分区和tasks.max允许并行处理。以下是我所配置的。主题创造
{“名称”："rawsumc-
浏览 5提问于2020-05-22得票数 1
回答已采纳
我正在使用MongoDB源连接器将数据从MongoDB集合中获取到Kafka。此连接器所做的是使用以下命名约定自动创建主题：在中，没有提到覆盖主题配置，例如分区数或复制因子。我有以下问题：
浏览 2提问于2020-01-18得票数 0
回答已采纳
2回答
Spark流分区
、、
我们正在使用Kafka和Spark streaming来处理贸易数据。我们从卡夫卡接收avro格式的数据[key，byte[]]。我们对数据进行反序列化，并将其进一步发送以进行处理。我们需要根据接收到的avro记录中的关键字对数据进行分区。因此，每当我们以流的形式从kafka接收数据时，它都应该将记录发送到指定的执行器。
我们从Kafka那里收到
浏览 1提问于2018-07-27得票数 0
在使用5个任务的并行级别使用Kafka Connect IBM MQ Source Connector从IMB MQ读取数据时，是否可以保持消息顺序(将具有相同键的消息分配到相同的分区)？
浏览 15提问于2019-07-10得票数 0
1回答
我正在我的Windows机器上运行Apache，带有两个Kafka -Connect-Worker(端口8083,8084)和一个有三个分区的主题(复制一个分区)。我的问题是，每当我关闭其他Kafka-Connect工作人员时，我都能看到它们的故障转移，但是负载平衡并没有发生，因为任务的数量总是一个。我正在使用官方的作为tasks.max=6的源(tasks.max=6)，我尝试用
浏览 2提问于2020-07-06得票数 4
回答已采纳
我用debezium插件运行zookeeper，kafka和kafka连接。我看不到任何错误。我已经把一个数据库和几个表列入了白名单。在插入或更新表时，不会创建主题；/tmp/kafka-logs中的主题也不会有数据目录。我刚刚尝试为其中一个表创建一个主题(一种只有一列的虚拟表't‘)，但是在t中插入一行之后，该主题的日志中没有数据.
浏览 33提问于2021-07-25得票数 0
我们正在运行kafka hdfs接收器连接器(版本5.2.1)，需要HDFS数据被多个嵌套的fields.The分区主题中的数据被存储为Avro并具有嵌套的elements.How曾经连接无法识别嵌套的字段并抛出错误，该字段不能为found.Below是我们使用的连接器配置。hdfs接收器连接不支持按嵌套字段分区吗?.I可以使用非嵌套字段进行分区 {
&qu
浏览 49提问于2019-05-03得票数 5
回答已采纳
我有点搞不懂这在概念上是如何运作的。
kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？一旦它从压缩的主题中读取消息，它是否提交偏移量？
浏览 2提问于2020-07-31得票数 0
回答已采纳
我有一个在Confluent Cloud中运行的集群，并且能够使用其他应用程序生成和使用数据。然而，当我尝试连接Snowflake Kafka连接器时，我收到以下错误：[2019-10-15 22:12:08,983] INFO Instantiated connector source-snowflake with version
浏览 0提问于2019-10-16得票数 2
我是第一次接触Kafka和Kstreams。我正在尝试连接两个流，并将输出推送到第三个流。我已经尝试了几天的各种实现，现在仍然坚持这个错误。错误，无法继续。有人能帮帮忙吗？import org.apache.kafka.common.serialization.Serdes;importorg.apache.kafka.streams.StreamsBuilder;
import org.apache.k
浏览 0提问于2020-05-02得票数 2
我正在使用camel-spring-boot-starter中的camel- kafka ，在spring引导项目中将一条消息从一个卡夫卡主题路由到另一个。在某些主题上，我当前的应用程序，它只使用、camel-kafka、和(没有弹簧云流)。
在骆驼中，我们使用urls提供..。有点像. uri(kafka:lo
浏览 2提问于2018-06-20得票数 0
1回答
我对kafka非常陌生，我试图将数据写到一个主题中，并从同一个主题中读取数据(我们现在作为一个源团队来摄取数据)。因此，我们在对Kafk主题进行写操作，并从相同的主题中使用)。()
如何选择每个<
浏览 3提问于2021-09-08得票数 1
回答已采纳
默认情况下，多个Kafka消费者可以从同一个topic的同一分区中读取数据吗？默认情况下，我的意思是因为group.id不是强制性的，所以我想知道如果我在没有指定任何group.id的情况下产生多个kafka使用者，并为它们提供相同的主题和分区名称，它们是否能够从相同的分区中读取我知道，如果我为每个Kafka消
浏览 4提问于2017-03-31得票数 1
1回答
我的目标是建立一个高吞吐量集群，使用Kafka作为源，使用Flink作为流处理引擎。这就是我所做的。stream.addSink(stringSinkFunction);
</dependency>
<de
浏览 7提问于2015-08-28得票数 9
回答已采纳
卡夫卡现在似乎支持这样的观点：
FileSource连接器FileSource连接器从文件中读取数据并将其发送给Apache。下面是一个示例配置：
名称=本地文件源connector.class=FileStreamSource tasks.max=1 file=/tmp/test.txt主题= connector测试此连接器将只读取一个文件并将该文件中的数据发送给然后，它将只监视附加更新的</e
浏览 1提问于2020-12-18得票数 0
回答已采纳
我使用sql-server kafka-connect和debezium来监视sql server数据库，但是当我发布并运行我的工作程序时，主题已经用名称{server_name}.{table_name}和默认的partitions=1 & replication=1创建了，即使我在"bootstrap.servers“参数中指定了两个代理。如何手动更改表主题的分区和复制，或者在worker/connector</
浏览 0提问于2019-12-30得票数 2
1回答
在我的情况下，我们需要将数据从一个主题转移到另一个主题。我在卡夫卡文档"ReplayLogProducer“中看到了一个实用工具。它应该运行如下所示。bin/kafka-run-class.sh kafka.tools.ReplayLogProducer
此工具是否要求源主题上的分区与目标分区相同？关于这个新主题，数据的保留是
浏览 2提问于2016-02-18得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
