Kafka:在不同版本之间复制主题？
Kafka是一个分布式流处理平台，它具有高吞吐量、可扩展性和持久性的特点。在Kafka中，主题（Topic）是消息的逻辑容器，而分区（Partition）是主题的物理分片。每个分区都有一个副本（Replica），副本用于提供高可用性和容错性。
在不同版本之间复制Kafka主题时，可以通过以下步骤进行操作：
- 创建目标Kafka集群：首先，需要在目标Kafka集群中创建与源Kafka集群相同的主题。可以使用Kafka提供的命令行工具或管理界面来创建主题。
- 配置主题复制：在目标Kafka集群中，需要配置主题复制的相关参数。这些参数包括源Kafka集群的地址、主题名称、分区数量等。可以通过修改目标Kafka集群的配置文件来进行配置。
- 启动复制过程：在目标Kafka集群中，启动主题复制过程。这将使目标Kafka集群开始从源Kafka集群中复制主题的数据。
- 监控复制进度：可以使用Kafka提供的监控工具来监控主题复制的进度。这些工具可以提供复制的延迟、吞吐量等指标。
- 验证复制结果：在复制完成后，可以使用消费者来验证目标Kafka集群中的主题数据是否与源Kafka集群中的数据一致。
Kafka的主题复制功能可以用于数据备份、容灾恢复、数据分析等场景。腾讯云提供的相关产品是CKafka，它是基于Kafka的托管式消息队列服务。您可以通过腾讯云CKafka产品了解更多信息：CKafka产品介绍。
相关·内容
我们已经设置了MirrorMaker来跨两个Kafka集群复制消息。我们还在mirror maker的消费者属性中设置了exclude.internal.topic=false，以复制内部主题。我假设这也将复制__consumer_offset topic，这将反过来同步辅助集群中的消费者组偏移量。
但当我们在辅助集群中启动消费者组时，它从一开始就开始消费消息，所以看起来消费者组偏移量没有在辅助集群中复制。
有没有人可以提供一些建议，比如我们如何使用MirrorMaker或其他解决方案来同步辅助集群中的消费者组偏移量？
浏览 0提问于2019-11-27得票数 0
我对Kafka，zookeeper和Storm都不熟悉。在我们的环境中，我们有一个Kafka代理连接到多个动物园管理员。让生产者将消息发送到特定主题，并将一个代理上的分区发送给多个zookeepers，与将多个代理发送给多个zookeepers相比，是否有优势？
浏览 1提问于2015-09-02得票数 1
2回答
如何在kafka中进行全复制？
我有两个服务器，一个领导者和一个追随者。
如何确保当引导者拒绝(关闭)时，发送给跟随者的所有消息也会在打开后出现在引导者上。
我知道启动时的一个选择: Kafka有一个内置的bin/kafka-mirror-maker.sh同步程序。它应该总是在领导者上运行，然后发送到它的消息也会发送到追随者。当领导者关闭时，这个程序应该在追随者上启动，据我所知，所有的消息都会发送给他。在leader开启后，同步后(即消息开始只到leader的时刻)，该服务也应该在leader上启动，在follower上关闭，那么消息总是同步的。
如果您同时在两台服务器上保留这些服务，消息将被
浏览 3提问于2020-04-24得票数 0
我正在尝试使用mirror maker将数据从一个kafka集群复制到另一个kafka集群。假设主集群宕机，是否可以自动向第二个集群发送kafka消息？当群集1再次自动启动时，是否有可能在手动干预较少的情况下使群集1与群集2同步？
任何帮助都是非常感谢的。
浏览 1提问于2017-04-11得票数 2
我想从这个集群中的Kafka集群/主题流到dev环境中的另一个Kafka集群中，以便进行可伸缩性和regrrssion测试。
对于鸭带解决方案，我级联卡夫卡的消费者和制片人，但我的直觉告诉我，应该有一个更好的方法。但是，我还没有找到任何好的解决办法。有谁可以帮我？
浏览 14提问于2016-05-09得票数 18
回答已采纳
我们通过集成使用Kafka流。我将复制因子配置为在所有内部Kafka流主题中使用，方法是设置
spring.cloud.stream.kafka.streams.binder.configuration.replication.factor=${REPL_FACTOR}
它适用于大多数由Kafka流在内部使用的重新分区/变更主题。但是，该设置似乎对通过Materialized#as(StoreSupplier)手动创建的状态存储更改主题没有任何影响。对于这些主题，我仍然可以看到复制因子设置为默认1，也不可能使用Materialized#withLoggingEnabled(Map<Str
浏览 5提问于2020-10-14得票数 1
回答已采纳
我希望将多个数据库的更改聚合到一个数据库中，因此我想在每个数据库旁边运行一个Debezium连接器和一个Kafka服务器/broker，并使用Kafka接收器连接器从所有的Kafka中使用，将其写入一个数据库。
问题是，我能否同时使用Kafka接收器连接器的一个实例，使用多个独立的Kafka代理(而不是集群)。
浏览 0提问于2021-08-29得票数 0
回答已采纳
2回答
我是Kafka的新手，我的使用案例是我已经配置了Kafka 3节点集群，如果我在node1中生成消息，它会在node2和node3中自动同步(这意味着我正在使用node2和node3中的消息)，所以现在我希望所有的消息都在另一台亚马逊网络服务的ec2机器上。我该怎么做呢？
浏览 3提问于2018-09-11得票数 1
这里解释了ActiveMQ水平缩放：
有没有人能告诉我ActiveMQ和Kafka在“水平缩放”方面的“区别”？
谢谢!
浏览 2提问于2019-09-25得票数 0
2回答
我不能用GCE创造卡夫卡的主题
在GEC
The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable
浏览 0提问于2019-07-13得票数 0
在我们的项目中，有主动的Kafka服务器(PR)和被动的Kafka服务器(DR)，这两个Kafka brokers在我们的项目中都配置了相同的组名、主题名称和分区。从PR切换到DR时，在DR上手动设置_consumer_offsets。
我这里的问题是，Kafka消费者是否能够无缝地从上次读取的地方消费消息？
浏览 7提问于2020-03-31得票数 2
对于Kafka集群从AWS到AZURE的迁移，挑战在于我们正在为消费者使用我们的自定义偏移量管理。如果我复制带有偏移量的ZK节点，Kafka Mirror将更改这些偏移量。有没有办法确保偏移量相同，以便迁移可以顺利进行？
浏览 0提问于2019-01-18得票数 2
我将在基础设施中实现卡夫卡。我有一个用例，在这个用例中，在Kafka体系结构中有下面的组件。
经纪人人数:5
复制因素:3
专题数目:3
分区数:3
我必须实现Kafka集群的扩展，这意味着我希望kafka基础设施能够添加/删除/替换代理。添加/删除实例需要同步其他代理的整个数据，才能成为ISR(同步副本)。我们希望AWS自动标度来实现这一点，如果最终Kafka重新平衡某个分区的领导者并将其分配给这个新代理，我们实际上不希望跨可用性区域使用1000 GB的数据。因此，我们希望使用其中一个代理的旧卷。
问题如下：
如果我想要获取its电子存储->的快照，必须选择哪个代理程序，从它创建卷并将
浏览 0提问于2018-12-19得票数 3
我有一个用例，我想先建立一个Kafka集群，一开始我有一个Kafka代理(A)和一个动物园管理员节点。因此，以下是我的质询：
在集群中添加一个新的Kafka Broker(B)。代理A上的所有数据都会自动分发吗？如果不是的话，我需要做的是分发数据。
不让我们想当然地假设这件事！我的数据分布在两个经纪人身上。现在，由于一些维护问题，我想要删除服务器B。
- How to transfer the data of Broker B to the already existing broker A or to a new Broker C.
如何在运行时增加代理的复制因子？
浏览 0提问于2018-12-07得票数 0
运行合流- Kafka 3.3.1e Kafka 0.11.0x
我有一个副本= 3的分区。
我的制作人正在运行ack=-1
该分区有一个不同步的副本。
复制滞后时间最大ms = 10000
最小insync副本=2
1)当ack=-1时，生产者会提交记录吗？
2)如何使不同步的副本恢复同步？
浏览 0提问于2019-03-20得票数 0
回答已采纳
我有3个Kafka集群，我在其他集群中复制了一个主题。第一类主题“测试”
群集2 test.replica ..我在集群3中复制了这个主题，但是当我将数据发送到主题"test“时，我可以从主题"test.replica”中读取数据。主题test.replica.replica似乎是空的
群集3 test.replica.replica
连接器
{
"name":"test-z1-z2",
"config":{
"connector.class":"io.conflue
浏览 0提问于2019-02-08得票数 0
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
有人知道如何在卡夫卡中创建一个主题时纠正错误吗？
C:\kafka\bin\windows>kafka-topics.bat --create --bootstrap-server localhost:2181 --replication-factor 1 --partition 1 --topic test
Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option
at joptsimple.OptionE
浏览 7提问于2022-10-22得票数 1
在我们的单节点开发环境中，卡夫卡的读取失败，我遇到了问题。
我们运行的是一个单节点kafka实例，以及一个单节点的-因为这是一个dev env，所以我们并不真正关心复制。
我们使用Kafka作为Akka持久性的事件存储。当我们试图读取消息时(即使是从一个空的主题)，就会引发NotEnoughReplicasException：
[2018-05-03 16:57:00,880] ERROR [ReplicaManager broker=0] Error processing append operation on partition __transaction_state-7 (kafka.s
浏览 1提问于2018-05-03得票数 3
回答已采纳
我们有kafka集群，有3个kafka代理节点和3个zookperes服务器。
卡夫卡版本- 10.1 ( hortonworks )
据我所知，因为所有元数据都位于动物园管理员服务器上，而kafka代理正在使用这些数据( kafka通过端口2181与动物园管理员服务器对话)。
我只是想知道，每台卡夫卡机器是否都在与集群中的其他卡夫卡对话，或者卡夫卡是否只从动物园管理员服务器上获取/放置数据？
那么卡夫卡服务需要与集群中的其他卡夫卡进行通信吗?还是卡夫卡机器只需要从动物园管理员服务器得到所有的信息？
浏览 0提问于2019-02-07得票数 0
回答已采纳
1回答
Kafka和IIDR CDC
、、、、
我正在尝试使用：DB2--IBM -Kafka来构建CDC管道，并试图找到正确的方法来设置这个管道。我试过在下面-
1.在prem上的linux上安装一个3节点kafka集群
2.使用- setup-iidr-11.4.0.1-5085-linux-x86.bin文件在linux上安装IIDR软件。CDC实例已经启动并运行。
各种在线文档建议安装“IIDR管理控制台”来配置源数据存储和CDC服务器配置，并配置Kafka订阅配置来构建管道。
目前，我没有安装管理控制台。很少有人问这个问题-
1.在设置kafka-CDC管道时，是否有任何替代IBM管理控制台的方法？
2.如何获得IIDR管理控制台
浏览 2提问于2018-11-18得票数 1
回答已采纳
5回答
我试图阅读有关卡夫卡主题的信息，但我无法阅读。这个过程会在某个时候被终止，而不会读取任何消息。
以下是我得到的再平衡错误：
[2014-03-21 10:10:53,215] ERROR Error processing message, stopping consumer: (kafka.consumer.ConsoleConsumer$)
kafka.common.ConsumerRebalanceFailedException: topic-1395414642817-47bb4df2 can't rebalance after 4 retries
at kafka.c
浏览 3提问于2014-03-21得票数 18
回答已采纳
1回答
如果我有相同的Kafka组Id，但是使用在不同的Kafka集群中，那么同一组id可以跨集群工作。这是卡夫卡消费者的团体标识。
如果我在两个不同的Kafka集群中使用相同的微服务，并且在两个不同的数据中心中使用相同的主题，那么消费者组Ids就会生效。
谢谢。
浏览 0提问于2018-06-06得票数 0
回答已采纳
我已经在Windows 10上配置了kafka_2.11-2.3.0和ApacheZooKeep-3.5.5-bin。但是在运行主题创建命令时，我得到了以下错误：
C:\kafka_2.11-2.3.0>.\bin\windows\kafka-topics.bat --create --bootstrap-server 127.0.0.1:2181 --partitions 1 --replication-factor 1 --topic testD1
Error while executing topic command : org.apache.kafka.common.errors
浏览 7提问于2019-10-14得票数 14
回答已采纳
kafka-重新分配-分区-生成主题__commit_offsets给了我一个奇怪的结果:分区副本只在一个代理上，但是每个分区预期有3个副本。
我所做的工作如下：
test@kafka-1:~/Kafka-Docker$ sudo docker exec -it broker bash
[appuser@broker ~]$ echo '{"version":1, "topics":[{"topic":"__consumer_offsets"}]}' > topics-to-move.json
[appuse
浏览 2提问于2021-11-03得票数 0
回答已采纳
我已经安装了一个卡夫卡的代理实例，以及动物园管理员、卡夫卡工具、模式注册中心和控制中心。安装是使用坞库组合和使用汇合式完成的，但images.Here是这样的：
zookeeper:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
ports:
- 2181:2181
broker:
image: confluentinc/cp-server:lat
浏览 0提问于2020-11-01得票数 0
回答已采纳
我开始在docker上使用Spring Boot Kafka和kafka集群。当我开始检查容错时，我就遇到了这个问题。通常，我通过Spring Boot中的Kafka Admin创建一个主题(复制因子= 2)。我能够存储一些消息，并从Kafka消费它们。但是在停止了其中一个kafka容器(我有两个kafka实例和一个zookeeper)之后，我的消费者无法与剩下的那个进行通信。
我已经向bootstrap.servers属性提供了：
SPRING_KAFKA_BOOTSTRAP_SERVERS: kafka:9092,kafka2:9093
我创建主题的kafka admin bean看起来像
浏览 2提问于2019-07-19得票数 1
从Kafka文档和我读到的其他一些博客中，我得出结论，一个kafka-broker由一个主题分区组成。说，一个卡夫卡经纪人只持有一个分区。我的系统中只有一个代理，但是我可以用3个分区和1个复制因子创建一个主题。我还尝试用一个代理创建一个具有3个分区和3个复制因子的主题。它抛到错误下面
Error while executing topic command : replication factor: 3 larger than available brokers: 1 [2017-10-21 15:35:25,928] ERROR org.apache.kafka.common.errors.I
浏览 5提问于2017-10-21得票数 1
我试图在Kafka中创建一个主题，通过从官方Apache镜像站点下载.tar，我安装了一个新的Kafka副本。
我使用tar -xvf命令解压缩包并启动服务器，运行正常。
现在我正在尝试命令：bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
我试图挖掘这个问题，并实际检查文件是否存在，不知怎么结果是否定的：
浏览 2提问于2017-06-15得票数 2
回答已采纳
1回答
我希望将主题分区分离到多个kafka服务器中，比如在这个上。
示例:我只有一个主题“测试”，我有两个卡夫卡服务器(k1，k2)，我有4个主题“测试”的分区。我希望服务器k1有分区0和1，服务器k2有分区2、3。
浏览 4提问于2020-06-29得票数 0
回答已采纳
通常，在kafka集群划痕安装之后，我在/data/ kafka -log(kafka日志)下面看到了这个文件。所有主题都应放在哪里)
ls -ltr
-rw-r--r-- 1 kafka hadoop 0 Jan 9 10:07 cleaner-offset-checkpoint
-rw-r--r-- 1 kafka hadoop 57 Jan 9 10:07 meta.properties
drwxr-xr-x 2 kafka hadoop 4096 Jan 9 10:51 _schemas-0
-rw-r--r-- 1 kafka hadoop 17 Jan 10
浏览 0提问于2020-01-10得票数 0
回答已采纳
当我试图从Kafka中读取时，我得到了以下错误
java.lang.IllegalArgumentException: Unknown compression type id: 5
at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46)
at org.apache.kafka.common.record.Record.compressionType(Record.java:260)
at org.apache.kafka.common.record.LogEntry.isCompresse
浏览 0提问于2019-01-31得票数 1
我在Kafka上创建了一个带有4个分区的主题。(设置默认的number.partition=4)。现在，我想将本主题的数字分区更改为3。
./bin/kafka-topics.sh --alter --zookeeper localhost:2181 --topic my-topic --partitions 3
但没有任何变化。它仍然有4个分区。有人知道这事吗？
浏览 6提问于2017-08-04得票数 29
回答已采纳
我有一个运行在Kubernetes上的Kafka集群(在AWS上)。每个代理都有一个相应的外部负载均衡器(ELB)，并且已经适当地设置了afaict、Kafka的advertised.listeners，以便在客户端查询代理信息时返回该外部负载均衡器的DNS名称。大部分设置都类似于上面提到的。
我创建了一个kafka消费者，但没有指定任何group-id。有了这个消费者，从主题中读取消息工作得很好。但是，如果我在创建kafka消费者时设置了group-id，我会得到以下错误消息：
2018-01-30 22:04:16,763.763.313055038:kafka.cluster:14
浏览 0提问于2018-01-31得票数 1
在Samza和Kafka流中，数据流处理是在处理步骤( Samza中称为“作业”，Kafka Streams中称为"processor“)的序列/图(Samza中称为”数据流图“，Kafka Streams中称为”拓扑“)中执行的。在本问题的其余部分中，我将这两个术语称为工作流和工作者。
让我们假设我们有一个非常简单的工作流，包括一个工作人员A，它使用传感器测量值并过滤所有低于50的值，然后是一个工作人员B，它接收剩余的测量值，并过滤80以上的所有值。
输入(Kakfa主题X) ->(工作者A) ->(工作者B) -输出(Kafka主题Y)
如果我理解了
和
浏览 2提问于2016-12-09得票数 27
我不明白运行一个具有3个副本的Kafka节点和每个带有一个副本的3个Kafka节点之间的区别。
我们维护我们自己的Kubernetes集群，在那里我们想运行一个Kafka集群。我们使用的是。
我们可以设置：
...3不同的卡夫卡服务有一个副本，每个服务都有自己的网址(例如localhost:9092，localhost:9093和localhost:9094)。
运行在3个副本中的...1 Kafka服务(所有副本只有一个:9092)。
同步的方式有什么不同吗?有什么更好的配置方式？
浏览 4提问于2020-04-28得票数 0
回答已采纳
1回答
我想构建一个Kafka连接器，它需要读取Kafka主题并调用GRPC服务来获取一些数据并将整个数据写入另一个kafka主题。
我编写了一个Kafka Sink连接器，它从主题中读取，并称为GRPC服务。但不确定如何将这些数据重定向到卡夫卡主题。
浏览 1提问于2022-08-29得票数 0
回答已采纳
我刚刚说过在kafka上工作，并试图了解kafka集群中节点的方向，
考虑到我有一个有5个节点的kafka集群，为了更好地理解，我们假设有3个主题，每个主题的分区为2，复制因子为2。
这在集群中是什么样子的(当作为节点查看时)？
浏览 16提问于2020-05-07得票数 0
回答已采纳
kafka集群中topic的分区和副本有什么区别。我的意思是两者都将消息的副本存储在一个主题中。那么真正的区别是什么呢？
浏览 0提问于2014-11-26得票数 34
我是卡夫卡的新手，并试图在我的本地机器上创造一个新的话题。我在跟踪这个
启动动物园管理员
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
启动kafka-server
bin/kafka-server-start.sh -daemon config/server.properties
创建一个主题
bin/kafka-topics.sh --create -–bootstrap-server localhost:9092 -–replication-factor 1 -–partitions 1 -
浏览 1提问于2019-09-05得票数 3
回答已采纳
1回答
我有以下结构：
zookeeper: 3.4.12
kafka: kafka_2.11-1.1.0
server1: zookeeper + kafka
server2: zookeeper + kafka
server3: zookeeper + kafka
使用kafka- topic shell脚本创建了复制因子为3、分区为3的主题。
./kafka-topics.sh --create --zookeeper localhost:2181 --topic test-flow --partitions 3 --replication-factor 3
并使用组localConsumers
浏览 0提问于2018-06-20得票数 9
回答已采纳
更新：
通过为目标集群上的使用者设置fromBeginning: false来找到解决办法。不是最好的解决办法，但有效.
由于某种原因，所有使用者组偏移量都没有复制到目标群集。例如，我在源集群上使用使用者组测试启动了一个消费者(所有消息都被拉出来)，然后我在复制到目标集群中的同一个主题上启动了一个消费者(使用消费者组测试)，结果是两个消费者都得到了所有的消息。
我读过关于的文章，但没能成功。
消费者委员会：
bootstrap.servers=sourceKafkaEndpoint:9092
interceptor.classes=io.confluent.connect.replic
浏览 2提问于2020-07-15得票数 1
我使用的是带有MSK的Debezium MySQL，设置非常简单。与极光( MySQL )的连接测试正常。Kafka主题创建，列表都可以。 然而，当我运行连接器时，在滚动了大量信息之后，我得到了 WARN [Producer clientId=xxx] Error while fetching metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100) 他们中的许多人不断出现，并且连接器不能正常工作。
浏览 252提问于2021-05-02得票数 1
回答已采纳
2回答
从过去的10天开始，我试着把卡夫卡放在不同的机器上：
Server32
Server56
以下是我迄今所做的工作清单
配置，并在两个服务器上启动
server.1=Server32_IP:2888:3888
server.2=Server56_IP:2888:3888
我还更改了以下服务器和server-1属性
broker.id=0 port=9092 log.dir=/tmp/kafka0-log
host.name=Server32
zookeeper.connect=Server32_IP:9092，Server56_IP:9062
浏览 4提问于2017-07-03得票数 0
要在Kafka中创建主题，命令为
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
这很简单。但是我如何创建两个不同的主题，两个主题在kafka中都有相同的消息集？
浏览 0提问于2015-08-04得票数 0
我正在更新一个坞-撰写文件cp-schema-注册表:3.2.2到6.2.0。动物园管理员cp-动物园管理员形象和cp-卡夫卡也将更新。
如果重新启动文件，架构-注册表将抱怨预期的策略：
[2021-08-24 10:19:41,630] ERROR The retention policy of the schema topic _schemas is incorrect. You must configure the topic to 'compact' cleanup policy to avoid Kafka deleting your schemas after a
浏览 0提问于2021-08-24得票数 0
回答已采纳
卡夫卡开始用错误淹没日志。
Broker 2上的configs=CreateableTopicConfig(name='compression.type'，信息管理器:错误处理创建主题请求CreatableTopic(名称=‘_ _偏移’，numPartitions=50，replicationFactor=3，assignments=[]，值=‘producer’)，CreateableTopicConfig(名称=‘清除’策略，值=‘紧凑’)，CreateableTopicConfig(名称=‘分段.字节’，值=‘104857600’) (kafka.server.ZkA
浏览 5提问于2022-09-07得票数 0
假设我的制作人正在将消息写到主题A...once中，消息在主题A中，我想将相同的消息复制到主题B中，这在kafka中可能吗？
浏览 2提问于2020-01-23得票数 2
我知道在broker上为offsets.topic.replication.factor参数指定了server.properties。
我可以创建一个主题，如下所示：
offsets.topic.replication.factor = 1
另一种是：
offsets.topic.replication.factor = 2
在kafka集群中？
我有3个zookeper、3个代理和我的集群复制factor=2。
浏览 121提问于2019-10-26得票数 1
回答已采纳
1回答
我已经看到大数据社区在很多方面使用Flafka来摄取数据是非常热门的，但是我还没有真正了解为什么。
为了更好地理解这一点，我开发了一个简单的示例，就是摄入Twitter数据并将它们移动到多个接收器(HDFS、Storm、HBase)。
我通过以下两种方式完成了摄入部分的实现：(1)具有多个消费者的平原Kafka Java生成器(2) Flume代理#1 (Twitter接收器)\{e76f}\{e76f}(潜在的)代理#2( source+Kafka source+multiple接收器)。我并没有看到开发这些解决方案的复杂性有什么不同(不是一个生产系统，我不能对性能进行评论)--只是我在网上
浏览 0提问于2016-11-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
