首页
学习
活动
专区
工具
TVP
发布

腾讯技术工程官方号的专栏

专栏成员
1119
文章
2587351
阅读量
907
订阅数
无锁队列的几种实现及其性能对比
作者:juliatliu,腾讯 PCG 运营开发工程师 一、无锁队列用在什么样的场景? 当需要处理的数据非常多,比如行情数据,一秒处理非常多的数据的时候,可以考虑用无锁队列。但是如果一秒只需要处理几百或者几千的数据,是没有必要考虑用无锁队列的。用互斥锁就能解决问题,数据量相对少的时候互斥锁与无锁队列之间差别并不是很明显。 二、为什么要用无锁队列? 有锁队列会有哪些问题? 1、Cache 的损坏,在线程间频繁切换的时候会导致 Cache 中数据的丢失; CPU 的运行速度比主存快 N 倍,所以大量的处理器时间
腾讯技术工程官方号
2022-05-13
6K1
腾讯新闻基于Flink PipeLine模式的实践
本文作者:腾讯新闻商业化数据高级工程师 罗强 摘要   随着社会消费模式以及经济形态的发展变化,将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户,业务应用多、数据量大。加之业务增长、场景更加复杂,业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中,更快的响应用户需求、精准计费停单,意味着着更好的用户体验和更多的收入。 接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设
腾讯技术工程官方号
2021-12-15
7140
业界首创,腾讯网络平台部实现大规模光网络实时管控系统TOOP
‍‍ 针对光网络故障实时定位这个挑战,现有的光网络管控系统是否最优?针对硬件设备的异构性,能否实现统一并直接的管控?针对光层瞬发事件,SNMP技术是否还有用武之地?针对大规模故障实时定位,传统的管控软件是否还能应对?本文展示了一个全新的系统,来解答上述几个问题。 在即将举行的计算机网络顶会 NSDI 2022 上,腾讯网络平台部设计并实现大规模光网络实时管控系统TOOP(又名OpTel),通过开放解耦合实现设备统一管控,光层流式遥测实现高精度数据采集,腾讯云平台实现海量数据分析和故障实时定位
腾讯技术工程官方号
2021-10-27
1K0
研发效能度量实践者指南(万字长文)
作者简介:茹炳晟,腾讯T4级专家,腾讯研究院特约研究员,业界知名实战派研发效能和软件质量双领域专家。“软件研发效能度量规范”团体标准的核心编写专家,Certified DevOps Enterprise Coach,年度IT图书最具影响力作者,多本技术畅销书作者,极客时间《软件测试52讲》作者,新书《软件研发效能提升之美》也即将出版。同时担任国内各大技术峰会的技术委员会成员,出品人和keynote演讲嘉宾。 优秀的度量体系设计对目标会有很强的正向牵引作用,不恰当的度量体系往往会引发一场“腥风血雨”。
腾讯技术工程官方号
2021-09-06
4.3K1
海量小文件场景下训练加速优化之路
作者:星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展,人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部,星辰算力平台以降本增效为目标,整合了公司的GPU训练卡资源,为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术,平台服务公司内各BG的AI训练场景,GPU利用率业界领先。同时,通过云原生任务化的方式,对接了内部各大业务,促进了AI技术研究效率的提升和创新研究。 当下,由于AI训练时的高性能计算设备(如NVIDIA GPU)成本高昂,如果任务在训练过程中不能保证
腾讯技术工程官方号
2021-02-23
2.2K0
首次揭秘:腾讯TDSQL分布式多级一致性数据库系统技术
作者:李海翔,腾讯TDSQL专家工程师 “在分布式背景下,怎么实现双一致性(事务一致性、分布式一致性),并提高分布式事务型集群的处理效率?”腾讯TDSQL数据库长期致力于基础研究创新,并持续获得关键技术突破。 2020年12月21日,第11届DTCC(中国数据库技术大会)大会上,腾讯TDSQL数据库专家工程师李海翔分享了数据库领域的核心技术——分布式事务处理技术的核心——多级一致性技术。该技术在遵循了ACID特性的同时,使得事务处理技术符合CAP原理,并在理论层面相较“严格可串行化”技术做了扩展,进一
腾讯技术工程官方号
2020-12-22
9710
产品经理日常数据分析工作
作者:alishayang,腾讯 TEG 数据分析师 我们期望每一次的产品功能上新、功能改版,都可以带来更好的交互体验,项目组所关注的指标都能有大幅度提升。但期望并不代表真实效果,功能上线后带来的真实效果还需要通过数据进行客观描述。在这篇文章中,我们将对产品数据分析日常工作进行剖析,从数据采集到产品分析框架的梳理,进而介绍如何通过数据对产品及运营进行反哺。 产品经理作为产品功能的发起者,在众多需求中挑选出来可做需求时,心中就会有初步的构想,新功能能够帮助产品覆盖哪些增量用户,新功能又能带来哪些指标
腾讯技术工程官方号
2020-11-09
7720
深入理解 Lua 虚拟机
作者:nicochen,腾讯 IEG 游戏开发工程师 本文从一个简单示例入手,详细讲解 Lua 字节码文件的存储结构及各字段含义,进而引出 Lua 虚拟机指令集和运行时的核心数据结构 Lua State,最后解释 Lua 虚拟机的 47 条指令如何在 Lua State 上运作的。 为了达到较高的执行效率,lua 代码并不是直接被 Lua 解释器解释执行,而是会先编译为字节码,然后再交给 lua 虚拟机去执行。lua 代码称为 chunk,编译成的字节码则称为二进制 chunk(Binary chun
腾讯技术工程官方号
2020-06-22
4.4K0
GoLang:你真的了解 HTTPS 吗?
本文来源:腾讯优图实验室 笔者来自腾讯优图实验室,优图实验室专注于图像处理、模式识别、深度学习,在人脸识别、图像识别、医疗AI、交通、OCR 等领域积累了领先的技术水平和完整的解决方案。近年来,优图在计算机视觉领域的研究和应用积累了深厚的底蕴和丰富的行业落地经验。笔者所在的团队主要负责视觉AI能力赋能边缘计算设备的研发工作。一直以来,在实验室甚至整个公司特别强调“安全和隐私”,近半年,笔者在用 GoLang 开发智能边缘计算设备的网络通信项目时,常被要求务必重视“通信的安全和隐私”。期间,对接了多
腾讯技术工程官方号
2020-02-25
1.2K0
GIAC | 大数据分析系统在游戏领域的迭代与实践
导语:6月23日,腾讯游戏数据分析系统负责人周东祥在 "GIAC全球互联网架构大会" 的分享了主题为《大数据分析系统在游戏领域的迭代与实践》的内容,具体的分享视频和PPT可以在大会官网下载和观看。这里主要以陈述的角度把个人的分享的主要观点和概要内容分享给大家,欢迎大家来交流,指正。 给大家说下,我今天分享主要内容,分为三个主要内容: 1. 分析系统在游戏分析的背景和要解决的问题 2. 大数据分析引擎 在游戏领域的迭代与实践 3. 分享的总结和未来规划 以数据分析角度来讲,这个是当时大数据技术最
腾讯技术工程官方号
2019-07-17
1.6K0
中篇 | 多轮对话机器之话题意图识别
引言 回顾一下自己参与的智能客服系统项目,从技术调研到游戏领域的对话文本数据分析和任务细分定义,再到建模调优以及最后的运营优化等整体流程的学习,收获良多。一般的智能客服系统包括三大模块,具体系统结构图如下: 对话系统整体结构图 对于多轮任务型对话,首先需要理解用户主要说了啥,怎么说的以及对话的逻辑流程,并借助于对业务的理解以及对话文本的数据分析,抽象出对用户发言的语义理解定义,也即是语义理解模块。本篇主要是讲述意图识别的技术知识。在我们的业务场景中,意图细分成了2层的层级意图结构,也即话题意图以及
腾讯技术工程官方号
2019-07-12
5.5K0
腾讯AI Lab发布「电竞虚拟人」,视频版本一次看!
本文将介绍 AI Lab 基于前沿多模态研究开发的首个“电竞虚拟人”——“天鹅静”(T.E.G)。
腾讯技术工程官方号
2019-06-24
2.3K0
TDSQL 全时态数据库系统 -- 典型案例
增量抽取、增量计算等都是T-TDSQL的经典案例。如下以增量计算为例,来分析T-TDSQL在腾讯金融业务中的典型应用。
腾讯技术工程官方号
2018-06-22
9.5K0
大数据赋能,如何精细化运营?
我们邀请了三位资深运营人,从“人性驱动、大数据赋能、社群裂变”三个方向,和您分享他们的经验和心得。
腾讯技术工程官方号
2018-04-02
3.7K4
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档