腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1089

文章

2414366

阅读量

887

订阅数

一文读懂数据库优化之分库分表

数据迁移大数据 sql 数据库解决方案

作者：tayroctang，腾讯 PCG 后台开发工程师本文从 5W1H 角度介绍了分库分表手段，其在解决如 IO 瓶颈、读写性能、物理存储瓶颈、内存瓶颈、单机故障影响面等问题的同时也带来如事务性、主键冲突、跨库 join、跨库聚合查询等问题。anyway，在综合业务场景考虑，正如缓存的使用一样，本着非必须勿使用原则。如数据库确实成为性能瓶颈时，在设计分库分表方案时也应充分考虑方案的扩展性，或者考虑采用成熟热门的分布式数据库解决方案，如 TiDB。阅读此文你将了解：什么是分库分表以及为什么分库分表如

腾讯技术工程官方号

2022-12-21

1.1K0

如何实现 1 小时内完成千万级数据运算

压力测试大数据 mapreduce linux

作者：ninetyhe，腾讯 CDG 后台开发工程师本文详细描述如何实现：目前手上可用的资源仅剩一个 16 核剩余 4-8G 内存的机器，单点完成在 1 个小时内千万级别 feed 流数据 flush 操作（主要包括：读数据，计算综合得分，淘汰低分数据，并更新最新得分，回写缓存和数据库）。背景目前工作负责的一款产品增加了综合得分序的 Feed 流排序方式：需要每天把（将近 1000W 数据量）的 feed 流信息进行算分计算更新后回写到数据层。手上的批跑物理机器是 16 核（因为混部，无法独享 CPU

腾讯技术工程官方号

2022-07-06

6690

腾讯游戏SRE工具链建设实践丨Gdevops峰会广州站

大数据运维游戏

2022 Gdevops全球敏捷运维峰会-广州站将于6月17日盛大举办，除了致力于帮助大家解决运维、数据库、金融科技等领域的老大难问题以外，本次峰会还希望与产学研界技术同仁一起探索云原生时代、数字化转型背景下的新趋势、新挑战和新解法。其中，来自腾讯游戏的刘天斯老师将分享腾讯游戏SRE工具链建设实践，一起来先睹为快：腾讯游戏SRE工具链建设实践议题要点及收获：构建SRE工具链在复杂微服务场景当中发挥怎样的作用？如何打造“三位一体”的SRE工具链体系，助力业务在”事前”提前发现潜在问题、“事中”快速定位

腾讯技术工程官方号

2022-06-14

5910

后台服务架构高性能设计之道

文件存储大数据数据结构缓存编程算法

作者：booleanwang，腾讯 PCG 后台开发工程师 “N 高 N 可”，高性能、高并发、高可用、高可靠、可扩展、可维护、可用性等是后台开发耳熟能详的词了，它们中有些词在大部分情况下表达相近意思。本序列文章旨在探讨和总结后台架构设计中常用的技术和方法，并归纳成一套方法论。前言本文主要探讨和总结服务架构设计中高性能的技术和方法，如下图的思维导图所示，左边部分主要偏向于编程应用，右边部分偏向于组件应用，文章将按图中的内容展开。高性能思维导图 1 无锁化大多数情况下，多线程处理可以提高并发性能，但

腾讯技术工程官方号

2022-04-27

1.6K0

2021年，腾讯研发人员增长41%，Go首次超越C++成为最热门语言

开源大数据编程算法

腾讯人最爱的编程语言是什么？这么多的程序员每天提交多少行代码，改bug要耗费多长时间等等？这些大家关心的问题，在今天刚刚发布的《2021年腾讯研发大数据报告》中给出了答案。这份由腾讯技术委员会出品的报告，全面披露了2021年腾讯在研发投入、研发效能、开源协同和技术公益等方面的重要数据。研发人员数量同比增长41%，持续投入基础技术研发 2021年我国全社会研发投入达到2.79万亿元，其中76%由企业投入。腾讯也在研发领域持续加码，坚定投入基础技术研发。据报告数据显示，2021年腾讯研发人员数量同比增

腾讯技术工程官方号

2022-03-24

9160

腾讯 PB 级大数据计算如何做到秒级？

sql hive 大数据缓存

天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的 Data Cloud 上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto 服务了腾讯内部的不同业务场景，包括微信支

腾讯技术工程官方号

2022-01-21

1.4K0

服务器开发设计之算法宝典

大数据数据处理数据结构文件存储缓存

作者：lynhlzou，腾讯 IEG 后台开发工程师孙子云：“上兵伐谋，其次伐交，其次伐兵，其下攻城”，最上乘行军打仗的方式是运用谋略，下乘的方式才是与敌人进行惨烈的厮杀。同样的，在程序设计中，解决问题的办法有很多种，陷入到与逻辑进行贴身肉搏的境况实属下下之策，而能运用优秀合理的算法才是”伐谋”的上上之策。算法的思想精髓是值得深入研究和细细品味的，本宝典总结了服务器开发设计过程中涉及到的一些常用算法，试图尽量以简洁的文字和图表来解释和说明其中的思想原理，希望能给大家带来一些思考和启示。思维导图

腾讯技术工程官方号

2021-12-28

1.5K0

腾讯新闻基于Flink PipeLine模式的实践

flink 数据库大数据数据分析 sql

本文作者：腾讯新闻商业化数据高级工程师罗强摘要随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单，意味着着更好的用户体验和更多的收入。接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设

腾讯技术工程官方号

2021-12-15

6170

分布式消息队列

数据库大数据数据处理数据结构 sql

作者：vincentchma，腾讯 IEG 后台开发工程师一、消息队列的演进分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。消息队列已经逐渐成为企业应用系统内部通信的核心手段，使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等，此外，利用数据库（如 Redis、MySQL 等）也可实现消息队列的部分基本功能。 1.基于 OS 的

腾讯技术工程官方号

2021-09-28

1.9K0

研发效能度量实践者指南（万字长文）

大数据数据分析

作者简介：茹炳晟，腾讯T4级专家，腾讯研究院特约研究员，业界知名实战派研发效能和软件质量双领域专家。“软件研发效能度量规范”团体标准的核心编写专家，Certified DevOps Enterprise Coach，年度IT图书最具影响力作者，多本技术畅销书作者，极客时间《软件测试52讲》作者，新书《软件研发效能提升之美》也即将出版。同时担任国内各大技术峰会的技术委员会成员，出品人和keynote演讲嘉宾。优秀的度量体系设计对目标会有很强的正向牵引作用，不恰当的度量体系往往会引发一场“腥风血雨”。

腾讯技术工程官方号

2021-09-06

3.1K0

消息队列背后的设计思想

存储 rabbitmq 数据库大数据数据结构

作者：jaydenwen，腾讯 PCG 后台开发工程师消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。随着大数据时代的到来，apache 旗下的 kafka 一度成为消息队列的代名词，提起消息队列大家自然而然就想到了 kafka。近而网上有太多太多介绍消息队列 kafka 功能或者内部实现的文章。然而消息队列本身是工程领域内一种解决问题的通用方案。它的背后有着一些通用的设计思想和经典模型，这些是消息队列的精髓和灵魂。

腾讯技术工程官方号

2021-08-23

5160

海量小文件场景下训练加速优化之路

分布式数据分析大数据 node.js linux

作者：星辰算力平台 1. 背景随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证

腾讯技术工程官方号

2021-02-23

2K0

聚焦新基建，腾讯云十余项自研技术应用集中亮相

腾讯乐享 5g 云计算大数据

创立已有22年的腾讯，究竟积累了多少自研的技术？从数据中心和网络建设，到数据库、存储、大数据等，伴随着业务的不断发展，腾讯在技术上也有了深厚的积淀。无论是从消费互联网到产业互联网，还是聚焦“新基建”，技术都是腾讯战略布局的底气所在。在转型产业互联网后，腾讯原本自研自用的技术和业务，开始通过腾讯云对外输出。一方面，腾讯云为企业提供计算、存储、网络等基础技术产品，让企业免去自建IT基础设施之忧。另一方面，腾讯云也提供人工智能、大数据、企业管理工具等各项工具和SaaS服务，助力企业降本增效。 9月

腾讯技术工程官方号

2020-09-14

9970

腾讯看点投放系统介绍：推荐系统的进化伙伴

信息流大数据推荐系统

大家好，我叫陈鹏，来自腾讯。前三位老师讲得都很有深度，干货满满。相比于前三位老师的深度，我今天分享的主题将会轻松一些，主要跟大家介绍腾讯看点在投放系统的探索，没有学术和深刻的原理，也没有目录，这里只有故事，跟着我的 PPT 一起开启一段故事吧。在介绍投放系统之前，我想做个简单的调查，有多少人用过信息流产品？比如腾讯看点、今日头条等等。还挺多，那再问一下，在浏览信息流的时候，有多少人看到过令自己反感的内容？发现刚刚举手的同学基本也都举了手。这说明信息流中出现低质内容还是件挺常见的事，那该如何解决呢？这

腾讯技术工程官方号

2020-09-08

1.2K0

基于Flink的高可靠实时ETL系统

flink 数据处理大数据云计算

GIAC（GLOBAL INTERNET ARCHITECTURE CONFERENCE）是长期关注互联网技术与架构的高可用架构技术社区和msup推出的，面向架构师、技术负责人及高端技术从业人员的年度技术架构大会，是中国地区规模最大的技术会议之一。今年的第六届GIAC大会上，在大数据架构专题，腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下为嘉宾演讲实录：施晓罡毕业于北京大学，获得博士学位，是Apache Flink项目Committer。在SIG

腾讯技术工程官方号

2020-09-01

1.2K0

「递归」第8集 | 当敲代码的手开始写歌，玩跨界的程序员有多野？

大数据编程算法

我们为什么叫「递归」 “递归” (recursion) 是一种在程序设计语言中被广泛使用的算法。它有两大特点，一是调用自己，二是化繁为简。我们当中那些优秀的技术人又何尝不是如此？他们以身作则，用实际行动影响身边的人，规范了流程、提高了效能，使整个团队从中得益。这就是我们「递归」栏目的初心，记录平凡腾讯技术人的不平凡。工作上，他是心思缜密的大数据开发工程师。生活中，他是感性的独立音乐人、乐队主唱。用数学的思维提高音乐制作效率，用艺术的思维探索技术领域创新。他不甘于循规蹈矩的音乐风格，更不吝于探索配

腾讯技术工程官方号

2020-08-28

5690

AI助力新药研发腾讯发布「云深智药」平台

编程算法大数据数据库 sql 开源

在上海举办世界人工智能大会前夕，腾讯公布了进入药物研发领域的两项最新进展。在应用侧，腾讯发布首个AI驱动的药物发现平台「云深智药（iDrug）」，整合腾讯 AI Lab和腾讯云在前沿算法、优化数据库以及计算资源上的优势，提供覆盖临床前新药发现流程的五大模块，包括蛋白质结构预测、虚拟筛选、分子设计/优化、ADMET性质预测（即将开源）及合成路线规划。目前平台上已经运行十个左右研发项目，包括对抗新冠病毒药物的虚拟筛选和性质预测（正在对筛选结果进行实验验证）。官网体验地址： https://drug.

腾讯技术工程官方号

2020-07-09

2.1K0

仅需少量视频观看记录，就可以精准推断你的习惯

神经网络迁移学习大数据

本文转载自机器之心仅从一个人的抖音、快手、腾讯视频的观看记录里，我们能发现什么？这篇被信息检索领域顶级国际会议 SIGIR 接受为长文章的论文可以告诉你。近日，腾讯看点推荐团队、Google Research 和中科大的研究工作首次证实，仅依靠用户视频新闻观看记录，就可以精确地推测出用户的各种个人信息信息，包括但不限于用户年龄段、性别、喜好、人生状况（例如单身/已婚/怀孕等）、职业、学历等信息，甚至是否有心理抑郁暴力倾向。这一客观发现和研究方法将有利于改进现有的一些公共服务质量，提供相关辅助依据

腾讯技术工程官方号

2020-06-11

5450

腾讯 AngelFL 联邦学习平台揭秘

编程算法联邦学习 angel 大数据机器学习

作者：AI前线数据里蕴含着价值。在人工智能时代，机器学习尤其深度学习模型的获得需要大量的训练数据作为前提。但是在很多业务场景中，模型的训练数据往往分散在各个不同的业务团队、部门、甚至是不同的公司内的。由于用户隐私，这些数据无法直接使用，形成了所谓的“数据孤岛”。近两年，联邦学习技术 (Federated Learning)迅速发展，为跨团队数据合作，打破“数据孤岛”提供了新的解决思路，并开始从理论研究迈向批量应用的落地阶段。本文系统的介绍了联邦学习的发展历程以及业界情况，并重点介绍了TEG数据平台

腾讯技术工程官方号

2020-03-19

3.5K0

腾讯健康码 16 亿亮码背后的 Elasticsearch 系统调优实践

es 数据库数据备份大数据 sql

Elasticsearch（以下简称 ES）是近年来炙手可热的开源分布式搜索分析引擎，通过简单部署，就可以轻松实现日志实时分析、全文检索、结构化数据分析等多重诉求，并将挖掘数据价值的成本大幅降低。之前分享过一篇相关文章：腾讯万亿级 Elasticsearch 技术解密本文将深入介绍腾讯云 Elasticsearch Service（以下简称腾讯云 ES）在“防疫健康码”应用落地过程中，遇到的挑战、优化思路、优化成果，希望能为开发者们提供参考。 2 月 9 日，腾讯联合各方推出“防疫健康码”，民

腾讯技术工程官方号

2020-03-19

1.8K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态