腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯技术工程官方号的专栏

专栏作者

1089

文章

2407001

阅读量

883

订阅数

如何实现 1 小时内完成千万级数据运算

压力测试大数据 mapreduce linux

作者：ninetyhe，腾讯 CDG 后台开发工程师本文详细描述如何实现：目前手上可用的资源仅剩一个 16 核剩余 4-8G 内存的机器，单点完成在 1 个小时内千万级别 feed 流数据 flush 操作（主要包括：读数据，计算综合得分，淘汰低分数据，并更新最新得分，回写缓存和数据库）。背景目前工作负责的一款产品增加了综合得分序的 Feed 流排序方式：需要每天把（将近 1000W 数据量）的 feed 流信息进行算分计算更新后回写到数据层。手上的批跑物理机器是 16 核（因为混部，无法独享 CPU

腾讯技术工程官方号

2022-07-06

6670

异步编程指北

编程算法压力测试云数据库 Redis 消息队列 CMQ 版 kafka

作者：michaeywang，腾讯 IEG 运营开发工程师同步、异步，并发、并行、串行，这些名词在我们的开发中会经常遇到，这里对异步编程做一个详细的归纳总结，希望可以对这方面的开发有一些帮助。 1 几个名词的概念多任务的时候，才会遇到的情况，如：同步、异步，并发、并行。 1.1 理清它们的基本概念并发：多个任务在同一个时间段内同时执行，如果是单核心计算机，CPU 会不断地切换任务来完成并发操作。并行：多任务在同一个时刻同时执行，计算机需要有多核心，每个核心独立执行一个任务，多个任务同时执行，不需要

腾讯技术工程官方号

2022-05-31

9000

认识 MySQL 和 Redis 的数据一致性问题

缓存数据库 sql 压力测试云数据库 Redis

作者：sinxu，腾讯 CSIG 后台开发工程师 1. 什么是数据的一致性 “数据一致”一般指的是：缓存中有数据，缓存的数据值 = 数据库中的值。但根据缓存中是有数据为依据，则”一致“可以包含两种情况：缓存中有数据，缓存的数据值 = 数据库中的值（需均为最新值，本文将“旧值的一致”归类为“不一致状态”）缓存中本没有数据，数据库中的值 = 最新值（有请求查询数据库时，会将数据写入缓存，则变为上面的“一致”状态） ”数据不一致“：缓存的数据值 ≠ 数据库中的值；缓存或者数据库中存在旧值，导致其他线程

腾讯技术工程官方号

2021-11-09

1.1K0

高并发系统建设经验总结

缓存压力测试消息队列 CMQ 版 kafka 数据库

作者：listenzhang，腾讯 PCG 后台开发工程师前言早期从事运单系统的开发和维护工作，从最早的日均百万单，到日均千万单，业务的快速发展再加上外卖业务的特点是，业务量集中在午高峰和晚高峰两个高峰期，所以高峰期并发请求量也是水涨船高，每天都要面对高并发的挑战。拿运单系统来举例，日常午高峰核心查询服务的 QPS 在 20 万以上，Redis 集群的 QPS 更是在百万级，数据库 QPS 也在 10 万级以上，TPS 在 2 万以上。在这么大的流量下，主要的工作也是以围绕如何建设系统的稳定性和

腾讯技术工程官方号

2021-11-01

8160

如何设计一个高可用、高并发秒杀系统

作者：vincentsu，腾讯 PCG 后台开发工程师如今的互联网已经在海量服务领域有了很成熟的理论，因此自己也很庆幸，能够从 0 到 1 完整践行海量服务。微视春节项目中的集卡瓜分活动，是一个典型的秒杀场景，自己参与其中，分享一些心得和总结。如今的互联网已经在海量服务领域有了很成熟的理论，因此自己也很庆幸，能够从 0 到 1 完整践行海量服务。微视春节项目中的集卡瓜分活动，是一个典型的秒杀场景，自己参与其中，分享一些心得和总结。秒杀系统的难点友好的用户体验用户不能接受破窗的体验，例

腾讯技术工程官方号

2020-03-02

1.1K0

腾讯TDSQL提出三个“数据库之问”，数据库技术未来重点在哪？

分布式编程算法压力测试 TDSQL MySQL 版存储

李海翔，网名“那海蓝蓝”，腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术：事务管理和并发访问控制》、《数据库查询优化器的艺术：原理解析与SQL性能优化》、《大数据管理》。前言 2019年10月11日至13日，CCF数据库专委会在济南召开了国内规模最大的、每年一度的数据库学术盛会——第36届CCF中国数据库学术会议（NDBC 2019），腾讯TDSQL团队受邀在“数据库产学研合作论坛”，做了主题为“TDSQL对未来分布式数据库的技术研发思考与实践”的技术报告

腾讯技术工程官方号

2019-10-21

1.5K0

2019DTCC大会分享：分布式数据库全局读一致性

压力测试数据库 TDSQL MySQL 版 sql java

作者简介：李海翔，网名“那海蓝蓝”，腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术：事务管理和并发访问控制》、《数据库查询优化器的艺术：原理解析与SQL性能优化》、《大数据管理》，广受好评。

腾讯技术工程官方号

2019-05-16

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态