腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1090

文章

2415414

阅读量

887

订阅数

世界读书日书单 | AIGC方向好书推荐

企业缓存 aigc 产品模型

近两年AIGC领域取得了显著进步，尤其是伴随Stable Diffusion、Midjourney、ChatGPT、GPT4等现象级产品的推出，AIGC开始广泛应用于文本生成、智能问答、图片生成等领域，极大地节省了生产力；同时也成为资本、市场、企业、学术界争相竞逐的领域。 AIGC的发展历程充满了挑战与机遇，每天被“时代洪流”推着走的我们普通人包括技术人员该何去何从，如何深窥这波潮流背后真正的核心技术，如何赶上技术的潮流，如何让自己具备核心竞争力，这些问题都需要我们剥离媒体过多的表面的渲染和浮躁，去建立自己

腾讯技术工程官方号

2023-04-29

6920

腾讯云数据库2020年度盛典等你来

数据库缓存腾讯云服务系统

2020年，是腾讯云数据库飞速发展的一年。疫情肆虐时，腾讯云数据库作为腾讯会议的底座，通过Redis、MySQL提供高性能、高可靠、快速扩展的缓存和存储能，保障每一个用户高清流畅无延时的使用体验。在如今万物联系越来越紧密时，发布腾讯云数图TGDB，为未来的产业形态底层支持提供新的想象空间。开源数据库TBase再次升级，为欧洲航天局提供支持，用于行星探索。腾讯云Redis混合存储版上线，跨过一致性、缓存击穿和缓存雪崩三座大山。腾讯云MySQL 8.0上线，性能超越官方版本，诸多特性加持下进一步提升

腾讯技术工程官方号

2023-04-10

2220

经典论文解读——布隆过滤器

缓存函数集合论文原理

作者：pishi，腾讯 PCG 后台开发工程师布隆过滤器是一种具有空间优势的概率数据结构，用于回答一个元素是否存在于一个集合中这样的问题，但是可能会出现误判——即一个元素不在集合但被认为在集合中。相信大家对布隆过滤器（Bloom Filter，BF）都不陌生，就算没用过也听过。布隆过滤器是一种具有空间优势的概率数据结构，用于回答一个元素是否存在于一个集合中这样的问题，但是可能会出现误判——即一个元素不在集合但被认为在集合中。布隆过滤器可用于避免缓存穿透、海量数据快速查询过滤之类的场景。但是，大家真的了

腾讯技术工程官方号

2023-04-01

6080

大牛书单 | 缓存系列好书推荐

存储缓存数据系统性能

在计算中，缓存是一种存储数据的硬件或软件组件，以便可以更快地满足未来对该数据的请求；存储在缓存中的数据可能是早期计算的结果或存储在其他地方的数据副本。当可以在缓存中找到请求的数据时发生缓存命中，而当找不到时发生缓存未命中。缓存命中是通过从缓存中读取数据来提供的，这比重新计算结果或从较慢的数据存储中读取要快；因此，缓存可以处理的请求越多，系统执行的速度就越快。为了具有成本效益并能够有效地使用数据，缓存必须相对较小。尽管如此，缓存已经在许多计算领域证明了自己，因为典型的计算机应用程序访问具有高度局部引用的数据

腾讯技术工程官方号

2023-04-01

5820

万字图文讲透数据库缓存一致性问题

缓存云数据库 Redis apache 数据库 sql

作者：jaskeylin，腾讯 CSIG 后台开发工程师缓存合理使用确提升了系统的吞吐量和稳定性，然而这是有代价的。这个代价便是缓存和数据库的一致性带来了挑战，本文将针对最常见的 cache-aside 策略下如何维护缓存一致性彻底讲透。在真实的业务场景中，我们的业务的数据——例如订单、会员、支付等——都是持久化到数据库中的，因为数据库能有很好的事务保证、持久化保证。但是，正因为数据库要能够满足这么多优秀的功能特性，使得数据库在设计上通常难以兼顾到性能，因此往往不能满足大型流量下的性能要求，像是 MyS

腾讯技术工程官方号

2022-11-18

5470

了解 HTTP 看这一篇就够

https 网络安全缓存 SSL 证书

作者：yutingbai，腾讯 PCG 前端开发工程师 1. http的发展史在学习网络之前，了解它的历史能够帮助我们明白为何它会发展为如今这个样子，引发探究网络的兴趣。下面的这张图片就展示了“互联网”诞生至今的发展历程。 2. http是什么？ HyperTextTransferProtocol 直译为‘超文本传输协议' 超文本：指文字、图片、视频、音频等的混合体，比如最熟悉的html。传输：http是一个“双向协议”，传输的是请求方和响应方之间的数据，不限制请求方和响应方之间的角色，传递的过程中可

腾讯技术工程官方号

2022-08-26

8881

微服务接口设计原则

缓存 java 数据库数据结构 sql

本文结合自身后台开发经验，从高可用、高性能、易维护和低风险（安全）角度出发，尝试总结业界常见微服务接口设计原则，帮助大家设计出优秀的微服务。 1.前言微服务是一种系统架构风格，是 SOA（面向服务架构）的一种实践。微服务架构通过业务拆分实现服务组件化，通过组件组合快速开发系统，业务单一的服务组件又可以独立部署，使得整个系统变得清晰灵活：原子服务独立进程隔离部署去中心化服务治理一个大型复杂的软件应用，都可以拆分成多个微服务。各个微服务可被独立部署，各个微服务之间是松耦合的。现如今后台服务大部分以微

腾讯技术工程官方号

2022-08-26

9850

GPU 渲染管线和硬件架构浅谈

缓存单片机

作者：landonwang，腾讯 IEG 客户端开发工程师本文简述了 GPU 的渲染管线和硬件架构，对一些常见问题进行了讨论和分析。特此分享出来，与君共勉。当然，由于本人并未从事过硬件开发的工作，文中有错漏之处在所难免，欢迎批评指正。另外本文内容量很大，总结下来有以下几点核心内容：（1）移动平台渲染管线 TBDR 的介绍; （2）GPU 缓存体系的介绍；（3）Warp 的执行机制；（4）常见的如 AlphaTest 或者分支对性能的影响。序言联发科的工程师团队在对我们游戏进行了性能分析之后，建议我们将

腾讯技术工程官方号

2022-06-07

7.1K0

无锁队列的几种实现及其性能对比

数据分析数据结构缓存编程算法

作者：juliatliu，腾讯 PCG 运营开发工程师一、无锁队列用在什么样的场景？当需要处理的数据非常多，比如行情数据，一秒处理非常多的数据的时候，可以考虑用无锁队列。但是如果一秒只需要处理几百或者几千的数据，是没有必要考虑用无锁队列的。用互斥锁就能解决问题，数据量相对少的时候互斥锁与无锁队列之间差别并不是很明显。二、为什么要用无锁队列？有锁队列会有哪些问题？ 1、Cache 的损坏，在线程间频繁切换的时候会导致 Cache 中数据的丢失； CPU 的运行速度比主存快 N 倍，所以大量的处理器时间

腾讯技术工程官方号

2022-05-13

4.5K1

后台服务架构高性能设计之道

文件存储大数据数据结构缓存编程算法

作者：booleanwang，腾讯 PCG 后台开发工程师 “N 高 N 可”，高性能、高并发、高可用、高可靠、可扩展、可维护、可用性等是后台开发耳熟能详的词了，它们中有些词在大部分情况下表达相近意思。本序列文章旨在探讨和总结后台架构设计中常用的技术和方法，并归纳成一套方法论。前言本文主要探讨和总结服务架构设计中高性能的技术和方法，如下图的思维导图所示，左边部分主要偏向于编程应用，右边部分偏向于组件应用，文章将按图中的内容展开。高性能思维导图 1 无锁化大多数情况下，多线程处理可以提高并发性能，但

腾讯技术工程官方号

2022-04-27

1.6K0

一致性 Hash 算法原理总结

缓存 node.js go https 网络安全

作者：kylinkzhang，腾讯 CSIG 后台开发工程师一致性 Hash 算法是解决分布式缓存等问题的一种算法，本文介绍了一致性 Hash 算法的原理，并给出了一种实现和实际运用的案例；一致性 Hash 算法背景考虑这么一种场景：我们有三台缓存服务器编号node0、node1、node2，现在有 3000 万个key，希望可以将这些个 key 均匀的缓存到三台机器上，你会想到什么方案呢？我们可能首先想到的方案是：取模算法hash（key）% N，即：对 key 进行 hash 运算后取模，N

腾讯技术工程官方号

2022-03-14

1.2K0

大规模 Node.js 网关架构设计与工程实践

缓存 http https 网络安全 node.js

作者：王伟嘉，腾讯云 CloudBase 前端负责人。本文是王伟嘉在 GMTC 2021 全球大前端技术大会（深圳站）上的演讲内容：《十亿级 Node.js 网关的架构设计与工程实践》。今天来开门见山地讲讲网关是一个怎么样的组件，网关在做什么事情。网关这个词其实到处都在用，它可以工作在硬件层面，也可以工作在网络层，还可以工作在应用层。网关快速入门网关在做什么？我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情：第一，公网入口。它作为我们公有云服务的一个入口，可以把公有

腾讯技术工程官方号

2022-02-15

4680

腾讯 PB 级大数据计算如何做到秒级？

sql hive 大数据缓存

天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的 Data Cloud 上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto 服务了腾讯内部的不同业务场景，包括微信支

腾讯技术工程官方号

2022-01-21

1.4K0

腾讯自主研发动画组件PAG开源

svg 渲染缓存 sdk ide

PAG (Portable Animated Graphics) 是一套完整的动画工作流。它提供从AE导出插件，到桌面预览工具，再到各端的跨平台渲染SDK，助力于将AE动画方便快捷的应用于各平台终端。PAG目前是公司AVGenerator OTeam开源协同小组的核心组件之一，广泛应用于公司内外40余款主流APP或业务，涵盖UI动画、视频编辑、特效模板、服务端特效渲染等多个场景，于2022年1月开源至GitHub。 PAG（Portable Animated Graphics）是腾讯自主研发的一套完整的动画

腾讯技术工程官方号

2022-01-17

3.8K0

浅谈缓存最终一致性的解决方案

缓存数据库 sql 云数据库 SQL Server

作者：clareguo，腾讯 CSIG 后台开发工程师到底是更新缓存还是删除缓存? 到底是先更新数据库，再删除缓存，还是先删除缓存，再更新数据库? 1 引言对于互联网业务来说，传统的直接访问数据库

腾讯技术工程官方号

2022-01-12

4.2K0

服务器开发设计之算法宝典

大数据数据处理数据结构文件存储缓存

作者：lynhlzou，腾讯 IEG 后台开发工程师孙子云：“上兵伐谋，其次伐交，其次伐兵，其下攻城”，最上乘行军打仗的方式是运用谋略，下乘的方式才是与敌人进行惨烈的厮杀。同样的，在程序设计中，解决问题的办法有很多种，陷入到与逻辑进行贴身肉搏的境况实属下下之策，而能运用优秀合理的算法才是”伐谋”的上上之策。算法的思想精髓是值得深入研究和细细品味的，本宝典总结了服务器开发设计过程中涉及到的一些常用算法，试图尽量以简洁的文字和图表来解释和说明其中的思想原理，希望能给大家带来一些思考和启示。思维导图

腾讯技术工程官方号

2021-12-28

1.5K0

Linux I/O 那些事儿

unix 缓存 node.js linux vr 视频解决方案

介绍 Linux IO 的一些基本原理。作者：arraywang，腾讯 CSIG 我们先看一张图：这张图大体上描述了 Linux 系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。这篇文章就以这张图为基础，介绍 Linux 在 I/O 上做了哪些事情。文件系统什么是文件系统文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。比如常见的 Ext4、XFS、ZFS 以及网络文件系统 NFS 等等。但是不同类型的文件系统标准和接

腾讯技术工程官方号

2021-11-18

1.5K0

认识 MySQL 和 Redis 的数据一致性问题

缓存数据库 sql 压力测试云数据库 Redis

作者：sinxu，腾讯 CSIG 后台开发工程师 1. 什么是数据的一致性 “数据一致”一般指的是：缓存中有数据，缓存的数据值 = 数据库中的值。但根据缓存中是有数据为依据，则”一致“可以包含两种情况：缓存中有数据，缓存的数据值 = 数据库中的值（需均为最新值，本文将“旧值的一致”归类为“不一致状态”）缓存中本没有数据，数据库中的值 = 最新值（有请求查询数据库时，会将数据写入缓存，则变为上面的“一致”状态） ”数据不一致“：缓存的数据值 ≠ 数据库中的值；缓存或者数据库中存在旧值，导致其他线程

腾讯技术工程官方号

2021-11-09

1.1K0

高并发系统建设经验总结

缓存压力测试消息队列 CMQ 版 kafka 数据库

作者：listenzhang，腾讯 PCG 后台开发工程师前言早期从事运单系统的开发和维护工作，从最早的日均百万单，到日均千万单，业务的快速发展再加上外卖业务的特点是，业务量集中在午高峰和晚高峰两个高峰期，所以高峰期并发请求量也是水涨船高，每天都要面对高并发的挑战。拿运单系统来举例，日常午高峰核心查询服务的 QPS 在 20 万以上，Redis 集群的 QPS 更是在百万级，数据库 QPS 也在 10 万级以上，TPS 在 2 万以上。在这么大的流量下，主要的工作也是以围绕如何建设系统的稳定性和

腾讯技术工程官方号

2021-11-01

8200

业界首创，腾讯网络平台部实现大规模光网络实时管控系统TOOP

面向对象编程数据库数据分析 sql 缓存

‍‍ 针对光网络故障实时定位这个挑战，现有的光网络管控系统是否最优？针对硬件设备的异构性，能否实现统一并直接的管控？针对光层瞬发事件，SNMP技术是否还有用武之地？针对大规模故障实时定位，传统的管控软件是否还能应对？本文展示了一个全新的系统，来解答上述几个问题。在即将举行的计算机网络顶会 NSDI 2022 上，腾讯网络平台部设计并实现大规模光网络实时管控系统TOOP(又名OpTel)，通过开放解耦合实现设备统一管控，光层流式遥测实现高精度数据采集，腾讯云平台实现海量数据分析和故障实时定位

腾讯技术工程官方号

2021-10-27

9590

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态