腾讯技术工程官方号的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏成员

1119

文章

2592633

阅读量

909

订阅数

ZooKeeper 核心通识

数据结构分布式 zookeeper https 网络安全

作者：mosun，腾讯 PCG 后台开发工程师文章分三部分展开陈述：ZooKeeper 核心知识、ZooKeeper 的典型应用实现原理、ZooKeeper 在中间件的落地案例。为了应对大流量，现代应用/中间件通常采用分布式部署，此时不得不考虑 CAP 问题。ZooKeeper（后文简称 ZK）是面向 CP 设计的一个开源的分布式协调框架，将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用，分布式应用程序可以基于它实现诸如数据发布/订阅、负

腾讯技术工程官方号

2022-11-30

7870

深入解读Raft算法与etcd工程实现

etcd raft 数据库数据结构 sql

作者：jettchen，腾讯 IEG 后台开发工程师本文不对 raft 算法从头到尾细细讲解，而是以 raft 算法论文为起点，逐步解读 raft 算法的理论，帮助读者理解 raft 算法的正确性。然后，etcd 不仅是 raft 算法最为热门的工程实现，同时也是云原生 kubernetes 的核心存储，本文也对 etcd 的底层实现进行剖析，让读者在使用 etcd 组件的过程中能够做到心中有数。对 raft 算法足够熟悉的同学，也可以直接阅读 etcd 工程实现那块内容。 1. raft 算法的简单介绍

腾讯技术工程官方号

2022-11-28

1.4K0

微服务接口设计原则

缓存 java 数据库数据结构 sql

本文结合自身后台开发经验，从高可用、高性能、易维护和低风险（安全）角度出发，尝试总结业界常见微服务接口设计原则，帮助大家设计出优秀的微服务。 1.前言微服务是一种系统架构风格，是 SOA（面向服务架构）的一种实践。微服务架构通过业务拆分实现服务组件化，通过组件组合快速开发系统，业务单一的服务组件又可以独立部署，使得整个系统变得清晰灵活：原子服务独立进程隔离部署去中心化服务治理一个大型复杂的软件应用，都可以拆分成多个微服务。各个微服务可被独立部署，各个微服务之间是松耦合的。现如今后台服务大部分以微

腾讯技术工程官方号

2022-08-26

1.2K0

无锁队列的几种实现及其性能对比

数据分析数据结构缓存编程算法

作者：juliatliu，腾讯 PCG 运营开发工程师一、无锁队列用在什么样的场景？当需要处理的数据非常多，比如行情数据，一秒处理非常多的数据的时候，可以考虑用无锁队列。但是如果一秒只需要处理几百或者几千的数据，是没有必要考虑用无锁队列的。用互斥锁就能解决问题，数据量相对少的时候互斥锁与无锁队列之间差别并不是很明显。二、为什么要用无锁队列？有锁队列会有哪些问题？ 1、Cache 的损坏，在线程间频繁切换的时候会导致 Cache 中数据的丢失； CPU 的运行速度比主存快 N 倍，所以大量的处理器时间

腾讯技术工程官方号

2022-05-13

6K1

后台服务架构高性能设计之道

文件存储大数据数据结构缓存编程算法

作者：booleanwang，腾讯 PCG 后台开发工程师 “N 高 N 可”，高性能、高并发、高可用、高可靠、可扩展、可维护、可用性等是后台开发耳熟能详的词了，它们中有些词在大部分情况下表达相近意思。本序列文章旨在探讨和总结后台架构设计中常用的技术和方法，并归纳成一套方法论。前言本文主要探讨和总结服务架构设计中高性能的技术和方法，如下图的思维导图所示，左边部分主要偏向于编程应用，右边部分偏向于组件应用，文章将按图中的内容展开。高性能思维导图 1 无锁化大多数情况下，多线程处理可以提高并发性能，但

腾讯技术工程官方号

2022-04-27

1.9K0

Go 高性能编程技法

性能测试 go 数据结构编程算法

作者：dablelv，腾讯 IEGggG 后台开发工程师代码的稳健、可读和高效是我们每一个 coder 的共同追求。本文将结合 Go 语言特性，为书写效率更高的代码，从常用数据结构、内存管理和并发，三个方面给出相关建议。话不多说，让我们一起学习 Go 高性能编程的技法吧。常用数据结构 1.反射虽好，切莫贪杯标准库 reflect 为 Go 语言提供了运行时动态获取对象的类型和值以及动态创建对象的能力。反射可以帮助抽象和简化代码，提高开发效率。 Go 语言标准库以及很多开源软件中都使用了 Go 语言的反

腾讯技术工程官方号

2022-03-18

2K0

服务器开发设计之算法宝典

大数据数据处理数据结构文件存储缓存

作者：lynhlzou，腾讯 IEG 后台开发工程师孙子云：“上兵伐谋，其次伐交，其次伐兵，其下攻城”，最上乘行军打仗的方式是运用谋略，下乘的方式才是与敌人进行惨烈的厮杀。同样的，在程序设计中，解决问题的办法有很多种，陷入到与逻辑进行贴身肉搏的境况实属下下之策，而能运用优秀合理的算法才是”伐谋”的上上之策。算法的思想精髓是值得深入研究和细细品味的，本宝典总结了服务器开发设计过程中涉及到的一些常用算法，试图尽量以简洁的文字和图表来解释和说明其中的思想原理，希望能给大家带来一些思考和启示。思维导图

腾讯技术工程官方号

2021-12-28

1.6K0

内核调试技巧-逆向寻踪，揭开 LACP 协议流程的神秘面纱

单片机汇编语言编程算法数据结构

作者：wqiangwang，腾讯 TEG 后台开发工程师本文通过“Kni 映射到内核的接口未能发送 LACP 报文导致 bond 不能聚合”这个问题，来探索内核调试中，对于正在运行的内核，通过 systemtap 获取关键数据结构的值的通用方法。背景 DPDK 支持物理端口通过 kni 映射到内核的虚拟接口作为内核的标准 net device，借助内核完善的生态处理相对复杂的网络协议，如 tcp 等，这样以后，无需在用户态实现这些协议。在 NGW 网关产品中，同样的，从物理端口接收的 LACP

腾讯技术工程官方号

2021-10-09

1.2K0

分布式消息队列

数据库大数据数据处理数据结构 sql

作者：vincentchma，腾讯 IEG 后台开发工程师一、消息队列的演进分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。消息队列已经逐渐成为企业应用系统内部通信的核心手段，使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等，此外，利用数据库（如 Redis、MySQL 等）也可实现消息队列的部分基本功能。 1.基于 OS 的

腾讯技术工程官方号

2021-09-28

2K0

MongoDB 基础浅谈

云数据库 MongoDB mac os 数据库数据结构 sql

作者：hazenweng，腾讯 QQ 音乐后台开发工程师 MongoDB 作为一款优秀的基于分布式文件存储的 NoSQL 数据库，在业界有着广泛的应用。下文对 MongoDB 的一些基础概念进行简单介绍。 1 MongoDB 特点面向集合存储：MongoDB 是面向集合的，数据以 collection 分组存储。每个 collection 在数据库中都有唯一的名称。模式自由：集合的概念类似 MySQL 里的表，但它不需要定义任何模式。结构松散：对于存储在数据库中的文档，不需要设置相同的字段，并且

腾讯技术工程官方号

2021-09-18

1.4K0

消息队列背后的设计思想

存储 rabbitmq 数据库大数据数据结构

作者：jaydenwen，腾讯 PCG 后台开发工程师消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。随着大数据时代的到来，apache 旗下的 kafka 一度成为消息队列的代名词，提起消息队列大家自然而然就想到了 kafka。近而网上有太多太多介绍消息队列 kafka 功能或者内部实现的文章。然而消息队列本身是工程领域内一种解决问题的通用方案。它的背后有着一些通用的设计思想和经典模型，这些是消息队列的精髓和灵魂。

腾讯技术工程官方号

2021-08-23

5780

浅谈 Protobuf 编码

文件存储 ascii 数据结构

作者：SG4YK，腾讯 PCG 后台开发工程师近日简单学习了 Protobuf 中的编码实现，总结并整理成文。本文结构总体与 Protobuf 官方文档相似，不少内容也来自官方文档，并在官方文档的基础上添加作者理解的内容，如有出入请以官方文档为准。作者水平有限，难免有疏漏之处，欢迎指正并分享您的意见。 0x00 Before you start 简单来说，Protobuf 的编码是基于变种的 Base128。在学习 Protobuf 编码或是 Base128 之前，先来了解下 Base64 编码。

腾讯技术工程官方号

2021-07-15

1.8K0

十个问题理解Linux epoll工作原理

编程算法数据结构 linux

作者：dustinzhou，腾讯 IEG 运营开发工程师 epoll 是 linux 特有的一个 I/O 事件通知机制。很久以来对 epoll 如何能够高效处理数以百万记的文件描述符很有兴趣。近期学习、研究了 epoll 源码，在这个过程中关于 epoll 数据结构和作者的实现思路产生出不少疑惑，在此总结为了 10 个问题并逐个加以解答和分析。本文基于的内核源码版本是2.6.39 版本。 Question 1：是否所有的文件类型都可以被 epoll 监视？答案：不是。看下面这个实验代码： #inc

腾讯技术工程官方号

2021-06-03

4K0

Redis vs Tendis：冷热混合存储版架构揭秘

缓存云数据库 Redis 存储数据库数据结构

作者：jingjunli，腾讯 IEG 后台开发工程师 Redis 作为高性能缓存被广泛应用到各个业务, 比如游戏的排行榜, 分布式锁等场景。经过在 IEG 的长期运营, 我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差, 业务维护缓存和存储的一致性繁琐。由腾讯互娱 CROS DBA 团队 & 腾讯云数据库团队联合研发的 Tendis 推出了: 缓存版、混合存储版和存储版三种不同产品形态, 针对不同的业务需求, 本文主要介绍混合存储版的整体架构, 并且详细揭秘内部

腾讯技术工程官方号

2021-04-21

3.2K2

操作系统与存储：解析Linux内核全新异步IO引擎io_uring设计与实现

自动驾驶 postgresql sql 数据结构 node.js

作者：draculaqian，腾讯后台开发工程师引言存储场景中，我们对性能的要求非常高。在存储引擎底层的IO技术选型时，可能会有如下讨论关于IO的讨论。 http://davmac.org/davpage/linux/async-io.html So from the above documentation, it seems that Linux doesn't have a true async file I/O that is not blocking (AIO, Epoll or POS

腾讯技术工程官方号

2021-02-22

2.4K0

娓娓道来图模型、图查询、图计算和图学习知识

数据库数据结构微信知识图谱访问管理

作者：youhuanli，腾讯 WXG 应用研究员笔者自 2011 年大二的时候加入北大计算所图数据库小组直到 18 年博士毕业，此后工作的两年一直关注图技术的发展，并同很多同行和图库的潜在客户有较多接触。同时也参与过知识图谱、图计算系统以及图表示学习算法等的研发。本篇的内容主要从图模型、图查询以及图计算和图学习四个方面着手阐述，重点介绍对图的应用上的经验、思考，讨论关于图有哪些应用、为什么有用、怎么用以及哪些地方难用或无用、为什么没用等内容，避免复杂概念或公式以保证非技术人员也能充分理解，相信这篇

腾讯技术工程官方号

2021-01-26

2.7K0

在线Excel项目到底有多刺激

网站 css 数据结构 canvas

加入腾讯文档 Excel 开发团队已经有好几个月了，刚开始代码下载下来 100+W 行，代码量很大但模块设计和代码质量比我想象中好好多了，今天跟大家分享下一个 Excel 项目到底可以有多好玩。实时协同编辑的挑战说到实时协同编辑的难点，大家的第一反应基本上是协同冲突处理。冲突处理冲突处理的解决方案其实已经相对成熟，包括：编辑锁：当有人在编辑某个文档时，系统会将这个文档锁定，避免其他人同时编辑。 diff-patch：基于 Git 等版本管理类似的思想，对内容进行差异对比、合并等操作，包括 G

腾讯技术工程官方号

2020-12-17

2.2K0

MySQL 索引知识点总结

sql 数据库云数据库 SQL Server 数据结构编程算法

作者：fanili，腾讯 WXG 后台开发工程师知其然知其所以然！本文介绍索引的数据结构、查找算法、常见的索引概念和索引失效场景。什么是索引？在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。（百度百科）索引的目的是提高查找效率，对数据表的值集合进行了排序，并按照一定数据结构进行了存储。本文将从一个案

腾讯技术工程官方号

2020-12-16

9560

巧用 Protobuf 反射来优化代码，拒做 PB Boy

数据结构编程算法

作者：iversonluo，腾讯 WXG 应用开发工程师有些后台同学将自己称为 SQL Boy，因为负责的业务主要是对数据库进行增删改查。经常和 Proto 打交道的同学，是不是也会叫自己 PB Boy？因为大部分工作也是对 Proto 进行 SET 和 GET。面对大量重复且丑陋的代码，除了宏是否有更好的解决方法？本文结合 PB 反射给出了我在运营系统开发工作中的一些代码优化实践。一、背景 Protobuf(下文称为 PB)是一种常见的数据序列化方式，常常用于后台微服务之间传递数据。笔者目前主

腾讯技术工程官方号

2020-11-27

2.6K0

用万字长文聊一聊 Embedding 技术

NLP 服务学习方法数据结构编程算法

作者：qfan，腾讯 WXG 应用研究员随着深度学习在工业届不断火热，Embedding 技术便作为“基本操作”广泛应用于推荐、广告、搜索等互联网核心领域中。Embedding 作为深度学习的热门研究方向，经历了从序列样本、图样本、再到异构的多特征样本的发展过程。本文主要系统总结了现在主流的 Embedding 技术，简单介绍它们的基本原理，希望对大家快速整理相关知识有所帮助。一、引言在提到 Embedding 时，首先想到的是“向量化”，主要作用是将高维稀疏向量转化为稠密向量，从而方便下游模

腾讯技术工程官方号

2020-11-19

11.6K1

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态