腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1090

文章

2415469

阅读量

887

订阅数

Kafka 高可靠高性能原理探究

kafka 高性能日志数据原理

作者：mo 引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最

腾讯技术工程官方号

2023-05-08

1.1K0

异步编程指北

编程算法压力测试云数据库 Redis 消息队列 CMQ 版 kafka

作者：michaeywang，腾讯 IEG 运营开发工程师同步、异步，并发、并行、串行，这些名词在我们的开发中会经常遇到，这里对异步编程做一个详细的归纳总结，希望可以对这方面的开发有一些帮助。 1 几个名词的概念多任务的时候，才会遇到的情况，如：同步、异步，并发、并行。 1.1 理清它们的基本概念并发：多个任务在同一个时间段内同时执行，如果是单核心计算机，CPU 会不断地切换任务来完成并发操作。并行：多任务在同一个时刻同时执行，计算机需要有多核心，每个核心独立执行一个任务，多个任务同时执行，不需要

腾讯技术工程官方号

2022-05-31

9040

大牛书单 | 消息队列方向的好书

消息队列 CMQ 版 kafka

消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。已经逐渐成为企业应用系统内部通信的核心手段，目前使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等，此外，利用数据库（如 Redis、MySQL等）也可实现消息队列的部分基本功能。消息队列本身是工程领域内一

腾讯技术工程官方号

2021-11-29

6060

指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计

kafka https 网络安全云数据库 Redis

作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来实现这些指标的统计会更加便捷。一、解决方案描述 1.1 概述本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus（Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV ）、产品的点击量（PV）、转化率（

腾讯技术工程官方号

2021-11-05

8840

高并发系统建设经验总结

缓存压力测试消息队列 CMQ 版 kafka 数据库

作者：listenzhang，腾讯 PCG 后台开发工程师前言早期从事运单系统的开发和维护工作，从最早的日均百万单，到日均千万单，业务的快速发展再加上外卖业务的特点是，业务量集中在午高峰和晚高峰两个高峰期，所以高峰期并发请求量也是水涨船高，每天都要面对高并发的挑战。拿运单系统来举例，日常午高峰核心查询服务的 QPS 在 20 万以上，Redis 集群的 QPS 更是在百万级，数据库 QPS 也在 10 万级以上，TPS 在 2 万以上。在这么大的流量下，主要的工作也是以围绕如何建设系统的稳定性和

腾讯技术工程官方号

2021-11-01

8200

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

kafka 消息队列 CMQ 版分布式 apache

作者：ruoyuliu刘若愚，腾讯 WXG 后台开发工程师导语事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列（MQ）组件，笔者在工作中遇到关于 MQ 选型相关的内容，了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。故借此文，试着浅析一番这三种消息队列（MQ）的事务消息有何异同，目的是形成关于消息队列事务消息的全景视图，给有类似业务需求的同学提供一些参考和借鉴。一、消息

腾讯技术工程官方号

2021-10-08

1.4K0

快速实现一个分布式定时器

unix 分布式微信消息队列 CMQ 版 kafka

作者：刘若愚，腾讯 WXG 后台开发工程师定时器（Timer）是一种在业务开发中常用的组件，主要用在执行延时通知任务上。本文以笔者在工作中的实践作为基础，介绍如何使用平时部门最常用的组件快速实现一个业务常用的分布式定时器服务。同时介绍了过程中遇到问题的一些解决方案，希望能够给类似场景提供一些解决思路。 1.什么是定时器定时器（Timer）是一种在指定时间开始执行某一任务的工具（也有周期性反复执行某一任务的Timer，我们这里暂不讨论）。它常常与延迟队列这一概念关联。那么在什么场景下我才需要使用定时

腾讯技术工程官方号

2021-03-30

2.3K0

火速围观！鹅厂中间件产品遭遇暴风吐槽

微服务消息队列 CMQ 版 kafka 分布式

伴随着互联网和云计算技术发展的不断深入，越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构，转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎T

腾讯技术工程官方号

2021-03-18

8860

简单理解 Kafka 的消息可靠性策略

消息队列 CMQ 版 node.js kafka

作者：hymanzhang，腾讯 IEG 运营开发工程师背景部门的开发同学最近在开发一个活动的过程中，需要关注大量的应用后台逻辑，捕捉各种事件的触发。在设计时打算采用 kafka 消息队列进行业务逻辑的解耦，这样活动开发和后台开发同学的工作就分离开了。但是使用的同学不是很熟悉其原理，担心以下几个问题：我什么业务场景下使用消息队列我发消息的时候，需要等 ack 嘛我发了消息之后，消费者一定会收到嘛？申请腾讯云的 kafka 实例后，各种参数怎么设置呀？遇到各种故障时，我的消息会不会丢？

腾讯技术工程官方号

2020-11-25

2.6K0

你真的知道怎么实现一个延迟队列吗？

unix rabbitmq 消息队列 CMQ 版云数据库 Redis kafka

作者：xiewang，腾讯 IEG 运营开发工程师前言延迟队列是我们日常开发过程中，经常接触并需要使用到的一种技术方案。前些时间在开发业务需求时，我也遇到了一个需要使用到延迟消息队列的需求场景，因此我也在网上调研了一系列不同的延迟队列的实现方案，在此进行了一个总结并且给大家进行分享。延迟队列定义首先，队列这种数据结构相信大家都不陌生，它是一种先进先出的数据结构。普通队列中的元素是有序的，先进入队列中的元素会被优先取出进行消费；延时队列相比于普通队列最大的区别就体现在其延时的属性上，普通队

腾讯技术工程官方号

2020-10-21

1.6K0

Apache Pulsar 在腾讯计费场景下的应用

费用中心腾讯计费消息队列 CMQ 版 kafka TDSQL MySQL 版

腾讯计费平台腾讯计费（米大师）是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台，汇集国内外主流支付渠道，提供账户管理、精准营销、安全风控、稽核分账、计费分析等多维度服务。平台承载了公司每天数亿收入大盘，为 180+ 个国家（地区）、万级业务代码、100W+ 结算商户提供服务，托管账户总量 300 多亿，是一个全方位的一站式计费平台。腾讯计费的核心痛点在体量如此庞大的腾讯计费场景下，我们要解决的核心问题就是如何确保钱货一致。腾讯计费自研了分布式交易引擎 TDXA，这是一套交易控制解决框架方案

腾讯技术工程官方号

2019-08-23

13.3K1

昨晚直播错过了？小编给你划重点！(附直播提问中奖名单)

运维消息队列 CMQ 版 kafka openstack 云计算

导语：在大家的期待中，腾讯云TStack首席架构师贺阮和美女产品经理 Kitty 昨晚做客他二哥技术直播间，为大家揭开了腾讯云TStack的神秘面纱。为了照顾错过直播的小伙伴，小编这里用问答的形式带你看重点！文末还有昨晚直播提问中奖的同学名单哦！最近拿奖拿到手软的腾讯云TStack究竟是个啥？在介绍产品之前，我想先介绍下它的来历，这个产品从2012年腾讯云TStack在腾讯内部正式上线，用于企业IT系统的支持，到15年开始，从运维、大规模部署等方面都已经相对成熟，决定作为To B产品开始对外

腾讯技术工程官方号

2019-06-24

5900

腾讯云Kafka海量服务自动化运营实践

数据迁移迁移 kafka 消息队列 CKafka 版

腾讯云CKafka是基于Apache Kafka 的分布式、高可扩展以及高吞吐的云端Kafka服务。腾讯云CKafka针对开源Kafka进行了多种优化，其中包括无锁队列优化、异步刷盘优化、多版本支持以及GC优化等优化手段，对开源Kafka性能达到了数倍的提高。与用户自己部署Kafka相比，腾讯云CKafka无需用户关心Kafka集群细节，用户无需维护Kafka集群直接使用，同时为用户提供丰富的监控指标。由于腾讯云CKafka与社区Kafka的协议一致，用户只需要够买实例后便可无缝接入。再者，CKafka允许

腾讯技术工程官方号

2018-05-11

8.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态