腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1089

文章

2406916

阅读量

883

订阅数

分布式限流方案的探索与实践

分布式流量实践算法系统

这三把"利器"各有其特点，通常会结合使用，以达到最佳的效果。例如，可以通过缓存来减少数据库的访问，通过降级来应对系统故障，通过限流来防止系统过载。在设计高并发系统时，需要根据系统的具体需求和特点，合理地使用这些技术。接下来本文会主要介绍一些业界常用的限流方法。

腾讯技术工程官方号

2024-03-15

2170

主流大语言模型的技术原理细节

分布式模型通信优化原理

腾讯技术工程官方号

2023-09-13

1.2K1

QQ音乐高可用架构体系

微服务 api 存储分布式

在分布式系统建设的过程中，我们思考的重点不是避免故障，而是拥抱故障，通过构建高可用架构体系来获得优雅应对故障的能力。QQ音乐高可用架构体系包含三个子系统：架构、工具链和可观测性。

腾讯技术工程官方号

2023-03-08

1.9K0

ZooKeeper 核心通识

数据结构分布式 zookeeper https 网络安全

作者：mosun，腾讯 PCG 后台开发工程师文章分三部分展开陈述：ZooKeeper 核心知识、ZooKeeper 的典型应用实现原理、ZooKeeper 在中间件的落地案例。为了应对大流量，现代应用/中间件通常采用分布式部署，此时不得不考虑 CAP 问题。ZooKeeper（后文简称 ZK）是面向 CP 设计的一个开源的分布式协调框架，将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用，分布式应用程序可以基于它实现诸如数据发布/订阅、负

腾讯技术工程官方号

2022-11-30

7330

大牛书单 | 分布式好书推荐

1965年，Intel创始人之一的戈登·摩尔提出了著名的“摩尔定律”，早期整个计算机行业始终以缩小晶体管体积作为计算机性能提升的手段。然而因为受到物理条件限制以及成本影响，这种方式对于性能提升始终会有终点，但人类对于计算机性能的要求却越来越高。因此有先见之明的计算机科学家，早在上世纪70年代开始就已经开始研究多处理器并行技术，后来逐步进化为对分布式系统的研究。互联网的兴起促进了分布式系统的百花齐放。尤其是Google的三大论文的发表，奠定了分布式系统架构的大格局。之后若干年该类型应用如雨后春笋般涌现，例

腾讯技术工程官方号

2022-10-08

7590

分布式唯一 ID 生成方案浅谈

数据库 sql 分布式 javascript 编程算法

作者：shmilychen，腾讯 IEG 后台开发工程师 1. 分布式唯一 ID 特性在业务开发中，会存在大量的场景都需要唯一 ID 来进行标识。比如，用户需要唯一身份标识；商品需要唯一标识；消息需要唯一标识；事件需要唯一标识等等。尤其是在分布式场景下，业务会更加依赖唯一 ID。分布式唯一 ID 的特性如下：全局唯一：必须保证生成的 ID 是全局性唯一的，这是分布式 ID 的基本要求；有序性：生成的 ID 需要按照某种规则有序，便于数据库的写入和排序操作；可用性：需要保证高并发下的可用性。除了对

腾讯技术工程官方号

2022-06-29

1.7K0

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

kafka 消息队列 CMQ 版分布式 apache

作者：ruoyuliu刘若愚，腾讯 WXG 后台开发工程师导语事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列（MQ）组件，笔者在工作中遇到关于 MQ 选型相关的内容，了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。故借此文，试着浅析一番这三种消息队列（MQ）的事务消息有何异同，目的是形成关于消息队列事务消息的全景视图，给有类似业务需求的同学提供一些参考和借鉴。一、消息

腾讯技术工程官方号

2021-10-08

1.4K0

快速实现一个分布式定时器

unix 分布式微信消息队列 CMQ 版 kafka

作者：刘若愚，腾讯 WXG 后台开发工程师定时器（Timer）是一种在业务开发中常用的组件，主要用在执行延时通知任务上。本文以笔者在工作中的实践作为基础，介绍如何使用平时部门最常用的组件快速实现一个业务常用的分布式定时器服务。同时介绍了过程中遇到问题的一些解决方案，希望能够给类似场景提供一些解决思路。 1.什么是定时器定时器（Timer）是一种在指定时间开始执行某一任务的工具（也有周期性反复执行某一任务的Timer，我们这里暂不讨论）。它常常与延迟队列这一概念关联。那么在什么场景下我才需要使用定时

腾讯技术工程官方号

2021-03-30

2.3K0

火速围观！鹅厂中间件产品遭遇暴风吐槽

微服务消息队列 CMQ 版 kafka 分布式

伴随着互联网和云计算技术发展的不断深入，越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构，转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎T

腾讯技术工程官方号

2021-03-18

8860

微信直播聊天室架构演进

云直播微信缓存分布式

聊天室概述 ---- 随着直播和类直播场景在微信内的增长，业务对临时消息通道的需求日益增长，聊天室组件应运而生。聊天室组件是一个基于房间的临时消息信道，主要提供消息收发、在线状态统计等功能。 1500w在线的挑战 ---- 视频号直播上线后，在产品上提出了直播后台需要有单房间支撑1500w在线的技术能力。接到这个项目的时候，自然而然就让人联想到了一个非常有趣的命题：能不能做到把13亿人拉个群？本文将深入浅出地介绍聊天室组件在演进过程的思考，对这个命题做进一步对探索，尝试提出更接近命题答案的方案

腾讯技术工程官方号

2021-03-16

1.9K0

海量小文件场景下训练加速优化之路

分布式数据分析大数据 node.js linux

作者：星辰算力平台 1. 背景随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证

腾讯技术工程官方号

2021-02-23

2K0

腾讯云TDSQL官宣：全球招人！

TDSQL MySQL 版分布式 https 网络安全

腾讯云TDSQL数据库团队招人了！近期，腾讯云TDSQL团队开放大量岗位机会，面向全球寻找未来同行的数据库工程师大牛。每一位加入的伙伴，都将可在这里获得广阔的技术创新发展平台、丰富的国产数据库产业应用实践空间，以及个性化的技术发展路线。我们是谁 TDSQL是腾讯企业级分布式关系型数据库品牌，旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、计算存储分离、数据仓库等能力，同时具备智能运维平台、Severless版本等标准统一的产品服务方案，可满足公司内

腾讯技术工程官方号

2021-01-19

2.7K0

首次揭秘：腾讯TDSQL分布式多级一致性数据库系统技术

分布式数据库 sql 数据分析

作者：李海翔，腾讯TDSQL专家工程师 “在分布式背景下，怎么实现双一致性（事务一致性、分布式一致性），并提高分布式事务型集群的处理效率？”腾讯TDSQL数据库长期致力于基础研究创新，并持续获得关键技术突破。 2020年12月21日，第11届DTCC（中国数据库技术大会）大会上，腾讯TDSQL数据库专家工程师李海翔分享了数据库领域的核心技术——分布式事务处理技术的核心——多级一致性技术。该技术在遵循了ACID特性的同时，使得事务处理技术符合CAP原理，并在理论层面相较“严格可串行化”技术做了扩展，进一

腾讯技术工程官方号

2020-12-22

8950

翻越缓存的三座大山

缓存分布式存储云数据库 Redis 数据库

作者：lynzou，腾讯 CSIG 行业研究员前言在互联网和移动互联网两波浪潮的推动下，存储技术有了飞速发展。移动互联网用户在过去十年增长了 10 倍，用户的增长带动了数据量的指数级增长，因为激烈的市场竞争，企业和用户对应用程序的响应性能要求越来越高，在完美应对庞大的用户规模和海量数据集的同时保证优秀的产品体验，是数据库面临的挑战。在机械硬盘普及的时代，企业需要通过缓存技术加速数据的访问，在 SSD 存储介质普及后，企业需要缓存技术支撑高并发和大吞吐，通过引入分布式缓存方案，提升应用程序性能，消除

腾讯技术工程官方号

2020-07-01

1.1K0

1.65亿人次扫码登记的背后，是TBase的秒级返回

大数据分布式小程序微信数据库

本文转自公众号：腾讯大数据继“一部手机游云南”后，抗疫时期，云南在全省范围内的公共场所推广由腾讯云提供技术支持的“云南抗疫情”扫码系统，实现全体民众出行扫码，全面分析预测确诊者、疑似者、密切接触者等重点人群流动情况。截至2月24日，云南省累计有1.65亿人次扫码登记“云南抗疫情”微信小程序，用户数1325.81万人。市民使用起来也极其便捷，在进入公众场所前用微信扫描“入”二维码，离开时再扫描“出”二维码，这两张二维码就是云南打赢新冠肺炎疫情防控阻击战的两杆枪。如此“简单”的操作背后

腾讯技术工程官方号

2020-02-28

5120

浅谈 CAP 和 Paxos 共识算法

编程算法分布式

作者：郑勰，腾讯 CSIG 网络产品部后台开发工程师什么是 CAP 关于 CAP 理论的背景介绍已经很多，这里不过多介绍，我们谈谈如何理解它的问题。用通俗易懂的话解释三个名词：一致性如果刚刚向一个节点写入，那么之后，从另外一个节点读取的必须是刚刚写入的数据，不能是更老的数据。可用性如果请求一个节点，这个节点必须能够给予回复，如果节点挂掉了，那就谈不上可用性了。分区容忍性是否容忍网络分区，即可以允许节点和其它节点无法通信。 CAP 的意思就是说我们最多只能保证其中两个条件同时成立

腾讯技术工程官方号

2020-02-14

9000

化繁为简 - 腾讯计费高一致TDXA的实践之路

费用中心分布式腾讯计费数据库 sql

导语：腾讯计费是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台，在如此庞大的业务体量下，腾讯计费要支撑业务的快速增长，同时还要保证每笔交易不错账。采用最终一致性或离线补偿的方案往往会带来较多的处理风险或投诉。因此，我们提出了一种通用的基于应用层的长事务解决方案，将复杂的分布式一致性问题化繁为简。 1 引言英国计算机专家Hoare所言，软件设计构建有两种方法，一是使其尽可能简单，从而一目了然确定其中不存在缺陷；另一种方法则是使其极为复杂，以至于看不出什么明显的缺陷。然而，实现第一种方法要困难的多

腾讯技术工程官方号

2019-11-22

3.4K0

腾讯TDSQL提出三个“数据库之问”，数据库技术未来重点在哪？

分布式编程算法压力测试 TDSQL MySQL 版存储

李海翔，网名“那海蓝蓝”，腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术：事务管理和并发访问控制》、《数据库查询优化器的艺术：原理解析与SQL性能优化》、《大数据管理》。前言 2019年10月11日至13日，CCF数据库专委会在济南召开了国内规模最大的、每年一度的数据库学术盛会——第36届CCF中国数据库学术会议（NDBC 2019），腾讯TDSQL团队受邀在“数据库产学研合作论坛”，做了主题为“TDSQL对未来分布式数据库的技术研发思考与实践”的技术报告

腾讯技术工程官方号

2019-10-21

1.5K0

唯一ID生成算法剖析

ide 分布式 unix 编程算法数据库

引在业务开发中，大量场景需要唯一ID来进行标识：用户需要唯一身份标识；商品需要唯一标识；消息需要唯一标识；事件需要唯一标识…等等，都需要全局唯一ID，尤其是分布式场景下。唯一ID有哪些特性或者说要求呢？按照我的分析有以下特性：唯一性：生成的ID全局唯一，在特定范围内冲突概率极小有序性：生成的ID按某种规则有序，便于数据库插入及排序可用性：可保证高并发下的可用性自主性：分布式环境下不依赖中心认证即可自行生成ID 安全性：不暴露系统和业务的信息一般来说，常用的唯一ID生成方法有这些： UU

腾讯技术工程官方号

2019-10-11

2.8K0

致谢！LF AI Day

神经网络人工智能 pytorch 深度学习分布式

随着我国率先进入5G的商用部署，真正的智能时代已经来临了，但是我们仍有很多技术问题需要深入探讨和切实解决，需要来自不同行业、不同技术领域的人士携手合作。 2019年9月17日在上海华为研究所举办的首届中国区LF AI Day中，来自华为、腾讯、百度、阿里云、滴滴、Tesra超算网络和微众银行等多方资深技术专家齐聚一堂，分享AI的应用与实践，现场参会百余人，线上直播点击率达1500+。错过现场的伙伴们，小编为你准备了现场花絮，一起来回顾下大会精彩瞬间吧！议题分享黄海军，华为NAIE云服务

腾讯技术工程官方号

2019-09-26

1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态