Kafka集群有容灾优势吗？

文章/答案/技术大牛

发布

1回答

apache-kafka、disaster-recovery

Kafka集群提供了高可用性，但它是否也提供了一些容灾保护？具体地说，假设您的一个主题文件在一台服务器上以某种方式损坏或删除，您是否可以通过集群中其他服务器上的主题文件来恢复？

浏览 25提问于2021-10-29得票数 0

0回答

Hbase异地双活容灾有成熟方案啊？

TDSQL MySQL 版、数据安全、rpc、大数据、hbase

现在主要有个hbase集群，rpc实时写入hbase，如何做个异地容灾集群？据说hbase本身异步复制不是很成熟，采用kafka上双写延迟太多了吧，请教是不是还有其他方案？要求零数据丢失。

浏览 1104提问于2019-03-03

6回答

如何设计分布式作业调度程序？

cron、distributed、cron-task、system-design

我想设计一个作业调度程序集群，其中包含多个主机来执行cron作业调度。例如，需要run every 5 minutes的作业被提交到集群，集群应该指出下一次运行哪个主机，确保：容灾能力:如果不是所有的主机都关机了，那么工作应该被成功地解雇。由于容灾能力，作业不能绑定到特定的主机。一种方法是所有主机轮询DB表(当然是带锁的)，这保证只有一个主机才能运行下一个作业。因为它经常锁桌子，有更好的设计吗？

浏览 6提问于2014-11-12得票数 16

1回答

云数据库对比与自建MySQL的优势有哪些？

数据库、云数据库 SQL Server

我觉得自己搭建的也行，但是为了稳定，还是来问问支持吗？

浏览 1446提问于2017-04-10

0回答

Tencent Cloud VectorDB从性能上看，具备高性能、高可用、低成本等优势，比如单索引支持10亿级向量规模，最快支持毫秒级数据实时更新，适用于AI运算、检索，数据接入AI的效率比传统方案提升同时，提供多副本高可用特性，提高容灾能力，确保数据库在面临节点故障和负载变化等挑战时仍能正常运行。架构层面支持水平扩展，单实例可支持百亿级向量数据规模，轻松满足AI场景下的向量存储与检索需求。技术架构上，腾讯云向量数据库基于腾讯集团每日处理千亿次检索的向量引擎OLAMA，底层采用Raft分布式存储，通过Master节点进行集群</e

浏览 483提问于2023-08-14

1回答

ES(主和灾难设置/群集)

java、elasticsearch、disaster-recovery、elastic-stack

考虑到容灾需求，ES可以使用什么架构？基本上，我们需要维护位于不同位置的2个集群设置。只有在cluster1关闭的情况下，请求才会发送到Cluster2。或者，有人能建议我们如何实现这一点吗？另外，我们如何在这些集群中实现数据的全负载索引和增量刷新。谢谢，Rakesh

浏览 2提问于2015-07-08得票数 0

1回答

关于cassandra问题的JBOD

database、cassandra、datastax、cassandra-2.0、scylla

我有3个节点的cassandra集群，带有JBOD配置。我有4个磁盘用于data /data1、/data2、/data3和/data4。现在，我们经常面临节点上的磁盘空间问题。1)那么，我的问题是，如果有任何请求会出现在cassandra集群上，并且数据将转到node1上的/data1，会发生什么情况？请求是否失败？或者cassandra将管理并写入其他有空间的磁盘？2)除了磁盘容灾之外，JBOD在cassandra中是否有用？提前感

浏览 12提问于2019-03-16得票数 1

1回答

服务器架构和云数据库应用使用问题？

云服务器、数据库

查了半天资料没搞本地数据库和云数据库的优势。一台4C8G的云主机，加一台4G 200G硬盘的云数据库QPS4400次/秒，然后我发现云数据比云主机贵上一半。那有必要配云数据吗？网站的话是一个日PV 20W的一个网站。有必要购买云数据吗？还是直接4C8G就OK？

浏览 446提问于2018-09-10

2回答

如何将Postgres添加到阿里云

postgresql、alibaba-cloud、alibaba-cloud-ecs

我在阿里云有ECS，我想添加PostgreSQL，但我在互联网上找不到任何教程如何将PostgreSQL添加到ECS阿里云

浏览 7提问于2021-02-10得票数 0

2回答

创建有状态微服务的最佳方法(实践)是什么？

spring、microservices、stateful

我需要创建一个食品订购服务，使用微服务，可伸缩，集群，几个步骤来订购。需要在步骤/请求之间存储用户数据。保存状态和用户数据的方法是什么？是否将其存储在数据库中？缓存？共享内存？

浏览 18提问于2018-08-01得票数 1

回答已采纳

3回答

为什么卡夫卡集群需要一个控制器，而它已经使用了动物园管理员？

apache-kafka

一个Kafka集群有一个控制器节点和一个动物园管理员集群，它们都有自己的职责集。当我们已经拥有动物园管理员时，控制器的要求是什么?例如:控制器选择由动物园管理员执行，分区领导人选举由控制器完成。为什么Kafka在已经掌握了哪些分区位于哪些节点上以及哪些节点实际处于活动状态的信息时，也不使用进行分区领袖选举。总之，尽管动物园管理员在场，我仍在努力理解管理员的要求。如果有人能解释这种设计选择的原因和优势，那将是非常有帮助的。

浏览 2提问于2019-11-07得票数 1

2回答

除了Apache之外，还有什么可供选择的事件源？

scala、apache-kafka、vert.x、event-sourcing

我的主要优势是：你知道最简单的事件商店是什么？我在用scalaApache是一个集群系统。很难部署，设置，这对我来说是最困难的部分。我希望构建应用程序，并使用服务逻辑，而不是设置kafka集群。我听说了vertx，它是事件总线，但我还没试过

浏览 1提问于2018-11-10得票数 1

1回答

为什么增加更多的消费者不能提高吞吐量？

apache-kafka、kafka-consumer-api、kafka-producer-api、kafka-python

我在一个具有56 on和750 on磁盘的VM上安装了一个单节点Kafka，只有一个代理。，主题分区和消费者之间有1:1的对应关系(实际上我有一个分区和一个消费者)。我认为这可能会发生的唯一原因是Kafka资源已经达到了一些限制？我试着设置这个在kafka-server-start.sh中，但似乎没有帮助。如果是内存问题或其他资源耗尽问题，如何使用Kafka进行诊断？

浏览 0提问于2018-03-22得票数 0

1回答

Apache的本地二进制TCP协议相对于restful有什么好处？

apache-kafka

根据Apache的文档，Kafka在其本地API的通信中使用了二进制TCP协议，但它们也为不支持Apache的本地API的语言提供了基于URL的restful。我只是想知道本地二进制TCP协议(在本机API中支持)是否比基于restful的与代理节点的通信有什么好处？我还在想restful是否还会维护only once属性呢？编辑: restful指南在这里：，它解释了如何在restful上生成和使用Kafka的消息

浏览 1提问于2017-09-24得票数 2

回答已采纳

1回答

Kafka消费者和生产者抛出错误

apache-kafka

我尝试在Kafka-consumer中传递单词时出现以下错误，我输入的命令 export PATH=$PATH:/usr/hdp/current/kafka-broker/bin console-2：(面向

浏览 34提问于2018-05-28得票数 0

4回答

KStreams +火花流+机器学习

apache-spark、machine-learning、apache-kafka、spark-streaming、apache-kafka-streams

问题：火花流和卡夫卡流有什么区别？我如何才能与KStreams +火花流+机器学习结合起来？我的想法是持续训练测试数据，而不是批量训练。

浏览 2提问于2016-12-14得票数 9

1回答

Kafka vs filebeat for shippong log to logstash

elasticsearch、apache-kafka、microservices、filebeat

要求是有最小的延迟和高可用性的解决方案，现在我被困在如何设计应该看起来。在网上学习时，我得到了以下广泛使用的方法来满足这些需求微服务->文件节拍kafka -> logstash ElasticSearch -> Kibana 然而，我很难理解filebeat在这种情况下是否真的有用如果我直接将日志流式传输到Kafka，然后Kafka再将其发送到logstash，会怎么样？这将帮助我克服日志文件的维护，而且还将减少一个要监控和维护的组件。我看到了使用kafka而不是filebeat的<

浏览 17提问于2020-07-11得票数 0

1回答

卡夫卡经纪人设置

apache-kafka、broker

为了连接到Kafka集群，我获得了一组具有名称和端口的引导服务器：s2:9092卡夫卡和动物园管理员正在运行实例s4。在阅读时，它指出：为了连接到Kafka集群，我将代理设置为's1，s1，s3

浏览 3提问于2020-12-05得票数 0

回答已采纳

1回答

集群中的kafka机器和kafka通信

apache-kafka

我们有3个kafka代理节点和3个zookeepers服务器的kafka集群 kafka版本- 10.1 ( hortonworks ) 据我所知，因为所有元数据都位于zookeeper服务器上，而kafka代理正在使用这些数据( kafka通过端口2181与zookeeper服务器交谈) 我想知道是否每台kafka机器都与集群中的其他kafka通信，或者kafka只在zookeepers服务器上获

浏览 34提问于2019-02-07得票数 1

1回答

StorageClass和卡夫卡

kubernetes、apache-kafka、kubernetes-helm、confluent-platform

我有一个关于Kubernetes StorageClasses的问题。我计划在Confluent Helm Charts的帮助下将Kafka集群安装到K8s中…… disksPerBroker: 1 现在我不太确定存储类是如何工作的(我可能会使用Azure磁盘)，但我的问题是，如果我只能配置一个StorageClass，我的所有3个代理将使用相同的物理磁盘吗？如果

浏览 11提问于2021-02-12得票数 0

点击加载更多