前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >降本增效下如何实现Kafka的稳定性实践?

降本增效下如何实现Kafka的稳定性实践?

作者头像
腾讯云中间件团队
发布2023-05-24 16:10:09
4680
发布2023-05-24 16:10:09
举报

导语

由infoQ主办的QCon 全球软件开发大会·广州站将于2023年5月26-27日正式开幕,本次盛会,腾讯云中间件高级开发工程师许文强将在《稳定性即生命线》专场为大家分享精彩议题,干货满满!

稳定性即生命线

随着数字化、互联网、云计算等技术的快速发展和普及,各行业越来越以更信息化的形态服务大众,信息化系统已经越来越深入到我们生活的方方面面,在促进各行业发展的同时,也强化了我们对其的依赖程度。而我们除了要面对由于自然灾害、电力中断、网络故障等“黑天鹅”事件引起的系统容灾场景外,还会面临由于人为疏漏、系统复杂度增加、架构劣化等带来的“灰犀牛”故障事件。

在这些充满着不确定性的现实场景中,一套具有高度确定性和稳定性的业务系统是非常重要的。

在5月26日-27日即将举办的QCon 全球软件开发大会·广州站上,菜鸟网络资深技术专家提出了稳定性即生命线的专题。QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

专题简介

以往,业界对于宏观层面的架构稳定性方面有诸多探讨,但这次我们希望也能看到一些微观层面的内容,比如超时/pct99 延迟抖动/上下游处理耗时 Gap 大/服务起不来/coredump/无日志反复重启/内存占用大/CPU 高等等问题,回想一下,过去一年,你们接到的 Oncall 是不是一大半都是这些问题?在异地多活等话题之外,从线上问题排查到性能工具,本专题还将邀请一线专家分享一些实际的线上问题应对经验。

专题时间:5月26日 14:00-17:40

降本增效下 Kafka 的稳定性实践

在本场专题上,腾讯云高级开发工程师许文强将为大家带来主题为《降本增效下 Kafka 的稳定性实践》的精彩演讲。

讲师介绍

许文强,腾讯云高级开发工程师,腾讯云消息队列 Kafka 技术负责人,Apache Kafka Contributor, 活跃于消息队列和 Serverless 相关开源社区。精通业界主流消息队列,如 Kafka、RabbitMQ、RocketMQ、Pulsar 等等。在消息队列和 Serverless 领域有着深厚的技术储备。并具有丰富的大规模云上 PaaS 产品的商业化、产品设计、运维运营经验。

主题简介

随着云计算技术的成熟,大量用户将服务部署到了公有云上。做为消息队列领域主要产品的 Apache Kafka ,因其架构设计本身的缺陷,导致其在长期存储、集群快速扩缩容等方面一直存在不足。尤其在大规模的集群运营过程中,问题尤为明显。另外,随着降本增效的诉求越来越强烈,为了降低成本,弹性的 Kakfa 架构慢慢成为了刚需。即用户迫切需要根据实际使用容量来弹性按量的使用 Kafka。此时,底层就需要无需感知底层资源的 Serverless 形态的 Kafka,以应对突发流量、波峰波谷等带来的稳定性和成本问题。因此需要从架构升级、混沌演练、运营体系等方面解决稳定性和成本的诉求。

本次分享主要通过弹性的计算存储架构、混沌工程演练、自动化调度运营体系三个维度来讲一下在降本增效的背景下如何保证大规模 Kafka 集群的稳定性。

演讲提纲

  1. 降本增效背景下大规模 Kafka 集群面临的稳定性挑战
  2. 如何通过弹性的计算存储架构来提高集群的稳定性
  3. 混沌工程在云上大规模 Kafka 集群 的落地实践
  4. 云上消息队列在降本、稳定性、架构升级之间权衡的一些思考

参会收获

  • 了解消息队列 Kafka 技术发展
  • 了解降本增效的同时如何维持集群稳定性
  • 了解如何满足大规模 Kafka 运营过程中有强烈成本优化诉求
  • 学习如何解决 Kafka 在存储成本、容灾切换、自动化调度方面的痛点
  • 了解混沌工程在消息队列中落地实践经验

参会福利

使用本主题讲师的名字,扫码添加小助手参会,可以享八折优惠哟!

专场议程概览

QCon 全球软件开发大会·广州站开幕倒计时 4 天,本次大会策划了 15+ 专题,70+ 行业大咖将于 5 月 26-27 日来到现场,分享企业最新实践。会议期间还有丰富的互动社交活动,2 天沉浸式体验,不容错过。

往期

推荐

跨数据中心下的 Kafka 高可用架构分析

关于MQ,你了解多少?(干货分享之二)

《关于MQ,你了解多少?(干货分享之一)

万字干货:Kafka 高可靠高性能原理探究

解决异构系统集成难题,富融银行这样做》

扫描下方二维码关注本公众号,

了解更多微服务、消息队列的相关信息!

解锁超多鹅厂周边!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-05-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云中间件 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
消息队列
腾讯云消息队列 TDMQ 是分布式架构中的重要组件,提供异步通信的基础能力,通过应用解耦降低系统复杂度,提升系统可用性和可扩展性。TDMQ 产品系列提供丰富的产品形态,包含 CKafka、RocketMQ、RabbitMQ、Pulsar、CMQ 五大产品,覆盖在线和离线场景,满足金融、互联网、教育、物流、能源等不同行业和场景的需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档