首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Azure事件中心界限及其与纯Kafka集群的比较

Azure事件中心界限及其与纯Kafka集群的比较
EN

Stack Overflow用户
提问于 2019-06-07 13:02:35
回答 2查看 4.4K关注 0票数 10

最近,Azure发布了一个名为https://github.com/Azure/azure-event-hubs-for-kafka的功能,允许使用同样的卡夫卡库,比如如果它是卡夫卡集群的话,就可以使用事件中心。这将允许我们从当前的IaaS Kafka解决方案迁移到PaaS解决方案,这具有完全管理解决方案的所有优点,而且基本代码的更改非常小(至少这是一个承诺)。

然而,在分析迁移时,我们发现很难在Azure事件中心限制内获得我们的基础设施。我们在卡夫卡有数百个话题,我们知道未来我们会扩展到数千个,但这在活动中心内是不容易的。

在Azure中,主题概念的匹配是事件中心,然后还有与Kafka集群相匹配的名称空间。实际上,每个名称空间都有不同的DNS名称,使其成为一个完全不同的系统。限制如下:每个名称空间最多有10个事件中心,每个订阅最多有100个命名空间。这被翻译成卡夫卡的行话,多达1000个主题。让我们假设这对我们的目的来说已经足够了,但是我需要我的应用程序的不同部分来连接到我所拥有的每10个主题的不同的Kafka集群(名称空间),这给整个故事增加了不必要的复杂性。

最后,我似乎要通过重新构建我的应用程序来改变管理自己集群基础结构的困难,这样它就能适应每个集群限制的奇怪的10个主题。有了卡夫卡,我可以在一个集群中有100个主题。带有事件中心的--我需要10个集群,每个集群包含10个主题,这就增加了知道您的消费者和生产者需要连接到哪个集群的复杂性。完全改变了应用程序的体系结构(使其变得更加复杂)。

我已经在互联网上寻找一个答案,没有运气,每个人似乎看到了很多优势使用事件中心,所以我开始认为,也许我错过了什么。在不改变我的架构的情况下,哪一种方法可以有效地在10个主题限制内安装大量的主题?

EN

回答 2

Stack Overflow用户

发布于 2020-02-18 16:46:27

Azure事件中心提供Kafka/EH在两种不同雨伞中的数据流--单租赁和多租赁。虽然多租户为您提供了保留小容量和使用小容量的灵活性,但它是通过配额和限制强制执行的。这些都是严格的,不能弯曲出来。原因,类似的,你可以想象多租户是一个巨大的卡夫卡集群,其中%CPU和%内存在不同的租户之间有严格的边界共享。有了这种尊重多租户的基础设施,我们就定义了边界,而这些边界是通过配额和限制来执行的。事件集线器是唯一向您收取预留带宽和事件入口费用的PaaS服务。没有出口收费。我们还允许您进入xMBps和出口2xMBps,配额允许我们使用这个边界。我们的单个租户集群可以被认为是模仿没有附加配额的确切的KAfka集群。我们在这里执行的限制是实际的物理限制。每个名称空间的1000个主题和每个容量单元50个名称空间的限制是软限制,可以放松,因为它们只是强制执行最佳实践。当您比较标准和专用时,成本的合理性并没有什么不同,事实上,当您超过50 50MBps时,您可以有一个优势,因为整个容量都是专用于一个租户的。另外,一个容量单元(在其中出售专用集群)允许您根据发送/接收模式、有效负载大小、频率等实现100 more 250 more之间的任意位置。为了比较起见,虽然我们没有在标准上做0TU,并且在标准和标准之间没有直接的关系/映射。

下面是一个定价例子,50 TU=0.03/hr x 50=每小时1.5美元每秒50,000,000事件=每小时180,000,000 / 1,000,000 = 1,000,000,000,000,000,000,000,000=1,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000=1,000,000,000,000,000,000,000,000,000,000,000,000,000=1,000,000,000,000,000,000,000,000,000,000,000,000=1,000,000,000,000,000,000,000,000,000,000,000,000

请注意,上述内容不包括捕获定价。为了每小时6.85美元的总价,你可以全身心地投入其中,包括捕捉。

票数 3
EN

Stack Overflow用户

发布于 2019-12-22 18:29:27

考虑到这个限制,似乎专用层每个名称空间都有1000个事件集线器。虽然会有一些额外的费用,因为专门的层。

票数 -2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56494910

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档