首页
学习
活动
专区
工具
TVP
发布

腾讯首次披露业务上历程

然而伴随着业务的增长,腾讯内部业务如何上,对于外界来说一直是个秘密。近日,腾讯项目负责人周小军首次披露,腾讯如何把内部海量的业务搬上云端的故事。以下是他的分享内容。...大家好,我今天分享的核心内容有三个: 腾讯业务如何从私有的模式搬迁到公有; 如何把这些大体量的业务搬到云端; 如何拥抱原生。...今天我就分四个方面向大家介绍腾讯业务上的故事。第一是腾讯业务为什么要上公有,第二个是业务上的价值,第三个是如何上,第四个是以QQ上的案例分享业务上的过程。 为什么要上?...直播业务上模式是一整套直播业务从机房搬迁到公有机房,在腾讯上提供服务,完成国内和海外几十个节点的建设,服务于的直播业务和外部客户。...第二个阶段是沙箱,这个阶段是在腾讯上建立一个逻辑隔离的私有网络空间,利用腾讯的IaaS服务,使用的虚拟机、的网络、的机房来支撑业务的服务。

15.4K23

腾讯数据库CynosDB存储架构揭秘

本文作者:许中清,腾讯数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。...曾就职于华为,2015年加入腾讯,参与过TBase(PGXZ)、CynosDB等数据库产品研发。专注于关系数据库、数据库集群、新型数据库架构等领域。...企业IT系统迁移到公有上已然是正在发生的趋势。数据库服务,作为公有上提供的关键组件,是企业客户是否愿意将自己运行多年的系统搬到上的关键考量之一。...CynosDB for PostgreSQL是腾讯的一款原生数据库,其主要核心思想来自于亚马逊的数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。...除此之外,每个Store Node会自动将数据和日志持续地备份到腾讯对象存储服务COS上,用来实现PITR(即时恢复)功能。

13.5K150
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯HIDS「洋葱」后台上架构演进实践

文|Louis、Jaylam 导语 “洋葱”系统是腾讯的主机入侵检测系统(HIDS),能够实时采集服务器上的各种行为并进行实时关联分析和落地存储,承载公司所有的服务器、虚拟机和容器的入侵防护、漏洞检测...洋葱作为公司的老牌安全系统,从2007年开始预,经过几代洋葱人的不断努力,洋葱的功能不断完善、架构几经迭代,满足了公司的服务器安全需求。现在进入计算时代,洋葱也要跟随业务拥抱原生和DevOps。...主要原理是: (1) 引入外部存储:腾讯COS服务和CFS网络磁盘服务 在文件分片下载请求到达任意一个download容器时,服务会检查CFS是否存在待下载的文件,如果不在,会向COS发起文件拉取请求...(2) 引入外部缓存服务:腾讯Redis服务 当文件分片上传请求到达任意一个upload容器时,服务会检查Redis是否由该文件上传的状态信息,如果存在,则读取状态信息并向Reids中继续写入对应分片数据...效提升 原有功能从开发完成到发布耗时由原有的2~3天缩短至1小时内。

1.6K180

免费报名 | 腾讯数据库CynosDB交流会

All in +时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。...腾讯发布的数据库CynosDB作为国内首款同时兼容MySQL和PG的原生数据库在业内引发热议,还不够了解TA?那么本期分享你一定不能错过!...本期+社区技术沙龙将全方位解读CynosDB,揭秘技术内幕,解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。...Cloud native为数据库以及传统数据库打开了崭新的发展方向,腾讯CynosDB(MySQL)正是在此方向上衍生而来,专为而打造CynosDB存储与计算分离的架构实现,不仅使其在产品性能、扩展性

1K30

聚焦新基建,腾讯十余项技术应用集中亮相

无论是从消费互联网到产业互联网,还是聚焦“新基建”,技术都是腾讯战略布局的底气所在。 在转型产业互联网后,腾讯原本自用的技术和业务,开始通过腾讯对外输出。...9月11日,在2020腾讯全球数字生态大会原生技术专场,腾讯就集中展示了在新基建和数字化转型领域多年来的技术积淀与产品服务,从服务器到数据中心,再到云端软件,揭开了腾讯技术领域的全景图...未来,依托大量的技术积累与海量用户服务经验,腾讯也将继续加速构建技术体系,为各行各业提供更优质的计算服务。...在原生技术专场上,还有许多源于腾讯自用的原生技术,正依托腾讯,以SaaS的形式为数字化提供助力。...从服务器到数据中心,再到云端软件,腾讯已经在计算技术领域进行了广泛布局。

99263

腾讯数据库CynosDB发布会现场实录

2018年11月22日, 腾讯新一代原生数据库CynosDB正式发布。这是业界第一款全面兼容市面上两大最主流的开源数据库MySQL和PostgreSQL的高性能企业级分布式数据库。...如果前两个重要的历史时期你们错过了,那么此时此刻是第三个重要的时刻,腾讯的NewSQL数据库的诞生。 我们首先来看一下数据库有哪些类型,有两种,搬迁和原生。...为了解决传统数据库的问题,我们作为服务厂商提供了一个完整的一站式的解决方案——腾讯的数据库产品CynosDB。...CynosDB是腾讯的高性能、高可用、企业级数据库,兼容开源数据库MySQL和PostgreSQL。 我们来看一下我们当初是怎么考虑要设计这样一款数据库的。...VPC进行网络隔离,腾讯现在的网关服务可以抵挡黑客攻击和DDOS攻击。

96420

免费报名 | 腾讯数据库CynosDB交流会

All in +时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的数据库CynosDB作为国内首款同时兼容MySQL和PG的原生数据库在业内引发热议,还不够了解TA?...本期+社区技术沙龙将全方位解读CynosDB,揭秘技术内幕,解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。...Cloud native为数据库以及传统数据库打开了崭新的发展方向,腾讯CynosDB(MySQL)正是在此方向上衍生而来,专为而打造CynosDB存储与计算分离的架构实现,不仅使其在产品性能、扩展性...腾小 赞赏 长按二维码向我转账 ? 受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

1.1K30

能力再获认可,腾讯数据库入选 Forrester Translytical 报告

国际权威行业研究与咨询机构Forrester发布全球Translytical数据平台厂商选型报告《The Translytical Data Platforms Landscape, Q3 2022》,腾讯数据库成功入选...腾讯数据库经历了腾讯业务的飞速发展,海量业务群雄并起时代,经过无数核心业务和亿级应用的苛刻打磨,在性能上逐渐突破了性能瓶颈、数据可靠性保障、高可用等“不可能三角”的技术难题。...第七次全国人口普查实现全面电子化的背后主要由腾讯数据库提供支持。...在金融领域,腾讯数据库已服务近半国内TOP20银行,TOP10银行中服务比例也高达60%,助力20余家金融机构进行核心系统改造,处于行业领先地位。...未来五年,腾讯数据库还将助力1000家金融机构实现核心系统数据库国产化转型。 ﹀ ﹀ ﹀ -- 更多精彩 -- HTAP大潮下,TDSQL的探索与实践 14亿人的大项目,拿下!

1K20

从IaaS到SaaS,腾讯二十年技术上集结

无论是从消费互联网到产业互联网,还是聚焦“新基建”,技术都是腾讯战略布局的底气所在。 在转型产业互联网后,腾讯原本自用的技术和业务,开始通过腾讯对外输出。...9月11日,在2020腾讯全球数字生态大会原生技术专场,腾讯就集中展示了在新基建和数字化转型领域多年来的技术积淀与产品服务,从服务器到数据中心,再到云端软件,揭开了腾讯技术领域的全景图...未来,依托大量的技术积累与海量用户服务经验,腾讯也将继续加速构建技术体系,为各行各业提供更优质的计算服务。...在原生技术专场上,还有许多源于腾讯自用的原生技术,正依托腾讯,以SaaS的形式为数字化提供助力。...从服务器到数据中心,再到云端软件,腾讯已经在计算技术领域进行了广泛布局。

1.3K40

腾讯业务上:优化Kubernetes集群负载的技术方案探讨

组件(Pod-Resource-Compress-Ratio-Reconciler)基于Workload的历史监控数据,动态的/周期性去调整压缩比。...组件(Node-Resource-Oversale-Ratio-Reconciler)基于节点历史监控数据,动态的/周期性的去调整超卖比例。...的支持,只能注册一个后端监控服务,如果集群中有些业务通过prometheus来expose应用自定义指标,也有一些业务通过Monitor来监控应用自定义指标,这个时候就做不到All in了,这在for的场景中...我们了HPAPlus-Controller组件: 每个HPA对象会启动一个goroutine协程专门负责该HPA对象的管理和计算工作,各个协程并行执行,极大的优化了性能。...我们正与腾讯监控产品团队深入合作,更好的服务于腾讯业务上

6.1K576

Firestorm - 腾讯Remote Shuffle Service在Spark原生场景的实践

业务痛点 Spark在原生场景下的挑战 基于本地磁盘的shuffle方式,使得Spark在原生、存储计算分离、在离线环境中有极大的使用限制: 在原生环境中,serverless化是服务部署的一个目标...其中实际的Shuffle数据以Block形式存储在Data文件中,而Index文件则存储每个Block的元数据,具体存储信息如下: BlockId: 每个Block的唯一标识,long型,前19位为增...Firestorm 收益 支撑原生的部署模式 Firestorm目前在腾讯内部已经落地于近万个节点的在离线混布集群,每天支撑近5W的分布式计算作业,每天的Shuffle数据量接近2PB,任务失败率从原先的...总结 Firestorm 本文介绍了现有Spark Shuffle实现的各类问题及业界的应对方式,结合腾讯公司内部的Spark任务实际运行状况,介绍了我们的Firestorm的架构,设计,性能,应用等...希望在原生的场景中,Firestorm能更好的协助分布式计算引擎上

2.8K30

腾讯交换机系统优化之路

摘自https://www.opencompute.org/projects/sonic 腾讯交换机采用白盒硬件 + NOS模式, 基于SONiC( Software for Open Networking...三、管理平面突破 2019年,腾讯基础设施服务能力进入“双百时代”(服务器数量超过100W,与此同时,腾讯峰值带宽突破100T),服务和流量迈入全球第一梯队。...腾讯交换机团队与湖南大学合作推出的集中式路由算法,可以有效改善数据中心网络的故障收敛性能。...网关硬件卸载总体架构 五、展望未来 目前,腾讯交换机稳定运行近一年,大幅提升了网络系统的可靠性和运营效率,并在疫情期间承载腾讯关键业务,经受住了考验。...随着网络端到端计划的逐步推进,腾讯交换机将会出现在越来越多的场景,为而生的腾讯网络会在未来带给我们更多惊喜。

2.4K30

腾讯数据库CynosDB存储系统如何实现即时恢复

本文作者:许中清,腾讯数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。...曾就职于华为,2015年加入腾讯,参与过TBase(PGXZ)、CynosDB等数据库产品研发。专注于关系数据库、数据库集群、新型数据库架构等领域。...CynosDB for PostgreSQL是腾讯的一款原生数据库,其主要核心思想来自于亚马逊的数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。...除此之外,每个Storage Node会自动将数据和日志持续地备份到腾讯对象存储服务COS上,用来实现PIT(Point In Time)功能。...CynosStore通过持续不断地将各个SG上的数据和日志备份到腾讯对象存储服务COS上。其中,基础数据的快照根据一定频率定期备份,而日志则从RAFT状态机中源源不断地向COS备份。

1.5K40

腾讯开放TPG转码服务,大幅提升业界图片压缩率

腾讯携手腾讯音视频实验室将于2017年12月对外开放TPG (Tiny Portable Graphic)能力,对外共享世界级的图片压缩技术。...经第三方权威机构公开测试,在同等质量前提下,腾讯音视频实验室研发的TPG图片压缩技术,相对于Google推出的 WebP 格式,文件大小可以减少近20%。...多年沉淀,造就行业领先图片压缩方案 TPG图片编码技术目前服务于QQ空间、腾讯新闻、腾讯游戏、QQ浏览器、腾讯动漫等众多腾讯内部明星产品。各产品在上线TPG后,流量成本降低40%。...[图片] 持续生态开放,腾讯云图片服务能力对外输出 将于2017年12月底上线的 TPG 图片压缩格式,经历了腾讯内部大量业务海量线上运营经验,集万象优图的图片编码能力、腾讯对象存储COS的存储能力、...腾讯CDN全球分发加速能力于一体的整站图片处理解决方案,对于图片类客户(社交、新闻、电商、游戏)来说,不仅能节约带宽资源降低企业成本,还可以提高图片加载速度、改善用户体验、提升产品转化率。

2.6K22

+技术沙龙回顾】腾讯数据库CynosDB交流会北京站

2019年3月16日,由腾讯开发者社区主办的腾讯数据库 CynosDB 交流会,在北京北邮科技酒店举行,本次交流会带你全方位了解 CynosDB、揭秘技术内幕,并解读兼容两大主流开源数据库的一主多读架构...此次交流会,五位数据库领域资深大咖为到场的百余位朋友,奉上了一场关于“腾讯数据库CynosDB”的技术盛宴,也让我们度过了一个充实且精彩的下午。...IMG_5241.JPG IMG_5249.JPG IMG_5263.JPG IMG_5297.JPG IMG_5302.JPG 腾讯开发者社区和腾讯数据库团队在会前设置了互动环节,参与者可以获得小礼品...腾讯开发者社区争取下次可以提供更多礼品回馈给大家! IMG_5347.JPG 下午两点沙龙活动正式开始,来自腾讯数据库团队的副总经理王义成在现场发表了对于数据库的看法。...随着许中清先生的精彩演讲的结束,在场的百余位技术小伙们,与数据库大咖们互动切磋,伴随着欢声笑语与热烈的现场交流,本次+技术沙龙——腾讯数据库CynosDB交流会圆满结束。

1.8K30

腾讯汤桢乾:腾讯交换机成长之路

2020 SONiC产业生态研讨会回顾 “2020 SONiC产业生态研讨会”于9月19日圆满落幕,腾讯网络平台部汤桢乾带来了主题演讲《腾讯交换机成长之路》。 腾讯为什么要做?...对于管理平面,在2019年腾讯的基础设施服务能力已经进入了“双百时代”,腾讯的服务器数量超过了100万台,与此同时腾讯的峰值带宽已经突破了100T。...对于腾讯交换机来说,在硬件设计阶段引入了 BMC,可以在硬件层面做到管控分离。同时腾讯交换机可以跟服务器共享运营生态,真正的做到Switch as a Server。 ?...目前腾讯交换机已经在数据中心实现了大规模部署,稳定运行近一年,显著提升了网络系统的可靠性和运营效率。...随着腾讯网络端到端计划的推进,已经逐步打造了一个自主可控的网络业务系统,相信未来腾讯交换机会给行业带来更多惊喜。 ?

1.2K40

腾讯正式发布大模型混元!

导读 在 2023 年 9 月 7 日举办的 2023 全球数字生态大会上,腾讯正式发布通用大语言模型——混元,并宣布通过腾讯对外开放。...腾讯混元大模型是由腾讯全链路的通用大语言模型,拥有超千亿参数规模,预训练语料超 2 万亿 tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。...全链路腾讯混元大模型的首要特点。据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个 token 开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路技术。...腾讯在算法层面进行了一系列创新,提高了模型可靠性和成熟度。...得益于全链路技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。

2.1K330
领券