首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯原生实时数仓建设实践

作者:龙逸尘,腾讯 CSIG 高级工程师 腾讯原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务,涉及的平台众多,从统计信息中可以看出,集群规模庞大,数据量极大。...原生实时数仓建设实践 原生实时数仓建设实践核心是以下三个部分,弹性计算实践 Flink on k8s,存算分离实践 ClickHouse 以及弹性存储实践 Iceberg。...原生实时数仓收益总结 原生实时数仓建设的收益可以总结为以下几点: 原生实时数仓实现存算分离,将存储与计算资源解耦,提升了架构可拓展性与灵活性 基于 K8s 提供弹性计算能力,按需使用存储与计算资源...原生实时数仓展望 当前腾讯原生实时数仓建设取得了一些成果,也将在未来进行进一步的升级优化 我们希望对实时数仓的流批一体能力进行持续演进,提升各个数仓组件的内核能力,适配 AI、物联网等更多场景。...流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓ 点击文末「阅读原文」,了解腾讯流计算 Oceanus 更多信息~ 腾讯大数据 长按二维码 关注我们

2K20

腾讯网络运维平台建设之路

本文是腾讯专家工程师陈政产老师在腾讯开发者社区技术沙龙深圳站的分享整理,为大家详细介绍腾讯网络运维平台的建设。 点击视频查看完整分享回放 一、腾讯网络介绍 ?...上图所示为腾讯网路underlay架构,腾讯的层级架构从上到下看,先是从地域Region级别,再到各可用区,最后到达网络计划模块。从这张图来看,往上走就是腾讯的内网,往下走就是腾讯的外网。...腾讯的内网有三个连接:网络计划模块之间的连接,可用区之间的连接,以及跨地域之间的连接。腾讯的外网主要接入了腾讯三网带宽,以及BGP,另外还承载着外网流量调度的功能。 ?...腾讯网络作为腾讯的基础设施,它承载所有上数据的传输,它的稳定性决定网络质量以及用户口碑。我们对网络的稳定性提出了更高的要求,对网络故障要做到:1分钟发现故障,3分钟故障恢复。...二、腾讯网络运维平台建设 1. 混沌工程 依上文所述,我们因为想要在网络故障前解决网络隐患,从而引入了混沌工程。那么混沌工程是怎么做的,它又是怎么在腾讯网络上落地的呢?

5.9K22
您找到你想要的搜索结果了吗?
是的
没有找到

ACMUG年会,腾讯揭秘TXSQL内核建设之路

2017年12月9日至10日,腾讯受邀参加国内MySQL技术领域影响力最大的技术盛筵—ACMUG年会。 腾讯数据库专家张青林在会上分享了腾讯自研 MySQL 分支 - TXSQL 的经验。...张青林一直专注于MySQL内核开发和相关架构工作,服务于腾讯公司自研产品业务和腾讯业务。...[图片] [图片] 作为腾讯规模最大的 MySQL 数据库服务,CDB 在腾讯上也是最受欢迎的关系型数据库产品。...[图片] TXSQL 在腾讯 CDB 中所处的模块和作用以及 TXSQL的 发展,既是为了解决腾讯日益增长的规模以及各行各业对数据库不断增长的高要求,也是为了解决用户在日常运维中遇到的问题,提升用户产品体验...虽然TXSQL最近才对外露面,其实早在腾讯尚未开始对外服务的时候,TXSQL就已经作为腾讯内部的MySQL分支再开发维护,一路从5.1,5.5,5.6,5.7至今,并且正在整合研究8.0的新特性。

1.6K00

腾讯最佳实践:保险服务系统灾备建设方案

项目背景某保险公司成立于2018年,以服务新型城镇化的社会保障体系建设为基础,坚持科技领先、专业支撑、资源整合、品牌服务,实现商业性业务与政策性业务均衡发展,企业价值与社会价值持续提升。...为了让公司业务更好地覆盖客户的全生命周期,建设一条富有活力的智能化、科技化保险企业发展路径,该公司基于某原生,搭建了一整套业务系统。...腾讯,实现API双向适配HyperBDR®深度对接腾讯平台与某平台的API接口,实现高度自动化的容灾方案,利用公有的弹性特点,打造扩展性更强的容灾方案。...客户收益HyperBDR®提供了高自动化的原生备份容灾思路,创新企业从的备份容灾场景,将企业全链路线上保险业务服务系统从某灾备至腾讯,保障企业核心业务连续性,提升企业服务品牌优势。...2► 高效部署,一键编排HyperBDR®灾备工具助力企业快速将300台主机55T数据灾备至腾讯,降本增效的同时保障集团业务的可持续稳定发展。

1.8K60

腾讯大学大咖分享 | 腾讯Serverless2.0开发者工具建设

[g50daaz1rn.png] 腾讯 Serverless 本地开发工具(SCF CLI)以开源项目的形式维护,目的在于让用户方便的实现函数打包、部署、本地调试,也可以方便的生成函数的项目并基于...为了便于更快速直观的进行本地开发和调试,腾讯 VS Code 插件支持一键调试的能力。首先,可以打开刚创建函数的文件目录,在插件中自动识别这个函数。之后可以通过 F9 进行断点,F5 启动调试能力。...[d9o7difi2n.png] [2i8zf7chea.png] [32m0mastvu.png] 除了上述两种工具以外,腾讯还与Coding合作推出了云端的WebIDE,方便更直观的查看线上的代码...常见问题 Q:开发和函数的关系是什么? A:函数是一个计算的资源,开发是在函数的上层装上数据库、COS而推出的一套解决方案。开发是利用了函数的计算能力。...[关注“腾讯大学”公众号,回复【加群】进入交流群] 腾讯大学是腾讯旗下面向生态用户的一站式学习成长平台。腾讯大学大咖分享邀请行业技术大咖,为你提供免费、专业、行业最新技术动态分享。

4K71

腾讯授权海捷迅 为多彩贵州建设添彩加色

5月28日,腾讯计算(北京)有限责任公司(以下简称腾讯)与贵州海捷迅科技有限公司(以下简称海捷迅)在贵阳数博会国际生态会议中心现场签署战略合作授权协议。...不久的将来,腾讯与海捷迅将就“贵阳微政务服务体系”项目展开合作,共同推进“中国数谷”建设,为多彩贵州建设添彩加色。...贵阳市政府支持腾讯公司参与“中国数谷”建设。共同开展贵阳城市大数据相关项目的建设与应用。...为了更好的服务贵阳政府,在与贵阳政府签约后,腾讯与海捷迅签署授权书,海捷迅将协助腾讯共同服务于贵阳政府。 腾讯与海捷迅作为战略合作伙伴,已深入合作多年。...腾讯有着丰富的智慧城市建设经验,而海捷迅丰富的行业落地实践经验以及人工智能平台搭建经验,能够有效推动计算在智慧城市建设中的落地,提升在智慧城市产业中的服务能力,为打造优质的智慧城市项目打下坚实基础

2.6K30

腾讯新工科如何赋能科技人才建设

2.jpg 在与会者的共同见证下,现场举行了卓越贡献企业授牌仪式,腾讯公司获得2018年新工科建设卓越贡献企业奖。...3.jpg 过去几年,腾讯在教育数字化方面做了一些努力:首先搭建了教育、视频、AI技术为核心的基础设施;同时建设了包括企鹅辅导、腾讯课堂在内的线上教育平台;并与大中小学合作,推动校园信息化建设;还推进产学合作...4.jpg 在教育信息化建设中,腾讯希望做好教育产业智慧化升级的“数字助手”。用互联网20年积累的发展经验,服务10亿用户的连接能力,以及腾讯、大数据、AI等基础技术,服务好我们的合作伙伴。...腾讯通过推进产学合作、协同育人,促进科技成果转移转化,培养产业发展急需人才,同时引入针对新工科的腾讯认证等服务,学生毕业后,将优先获得腾讯生态圈相关企业提供的就业机会,从而更好地推动新工科建设和发展。...通过与信息技术新工科产学研联盟的长期合作,腾讯将继续推进新工科计划,以腾讯认证为着力点,围绕新一代信息技术人才的培养,尤其在人工智能、大数据、计算等领域,以学科交叉、产学融合双轮共同推动新工科人才培养

2.6K1512

原生时代,腾讯如何做好容器安全体系建设

guolong,鼎实验室高级研究员,负责原生安全的研究和腾讯原生安全架构设计和落地实施。 摘要 容器安全作为原生安全的重要组成部分,为用户业务的原生落地提供了基础的安全保障。...腾讯凭借多年来在容器安全以及原生安全领域的研究和实践运营经验,同时结合腾讯容器平台 TKE 千万级核心规模容器集群治理经验,提出原生容器安全体系框架,助力用户安全的实现原生落地。...腾讯依托在原生以及安全方向的持续投入、积累和沉淀,一直致力于在原生领域为用户提供更全面、更稳定、更安全的原生服务,助力用户实现应用系统的原生化,并且持续的保障其安全稳定的运行。...基于腾讯多年安全攻防技术的研究积累,持续在安全能力上的沉淀,以及对原生安全领域的研究和实践运营,同时结合腾讯容器平台 TKE 千万级核心规模容器集群治理经验,我们提出腾讯原生容器安全体系框架,打造安全的容器平台...安全责任共担 腾讯在安全建设上,一直倡导和践行着安全责任共担的原则,对于容器平台的安全性保障,同样需要腾讯以及上用户的共同努力。

72720

利用腾讯公有建设灾备中心的解决方案

建设传统灾备中心的成本,涉及到以下几个方面: 1、iT基础设施费用 2、机房场地费用 3、运维人员费用 4、网络传输费用 显然,在计算作为未来数字经济发展底座的今天,建设传统灾备中心对很多企业来说,...容灾允许用户将传统的采购模式转化为按服务交付使用的方式,数据中心的各种资源即开即用,能够快速部署,大幅缩短了灾备中心建设的进程,节约了建设传统灾备中心的时间和金钱成本。...3.用HyperBDR容灾低成本构建腾讯灾备方案 为了满足中小型企业的灾备需求、节省大型企业的灾备成本,我们可以选择在国内的主流腾讯上构建灾备方案。...架构如下: 3.3容灾上腾讯具体实现 这里以10台VMware虚拟机,两套业务系统,容灾至腾讯为例。 基础条件: (1)需要容灾的主机:10台。...(3)有腾讯资源,有腾讯平台的管理权限。 3.3.1 配置生产平台 (VMware) 第一步:点击菜单栏 生产平台设置,点击 VMware 选择框。

1.3K20

2020 OpenInfra Days China腾讯TStack获大奖,助力生态建设

腾讯TStack作为OpenStack钻石赞助商积极参与本次大会,首席架构师潘晓东在《腾讯私有全栈生态建设》主题演讲中提到建设技术生态、业务生态、应用生态的具体举措。...腾讯TStack荣获“基准测评证书” 潘晓东在会上提到,腾讯未来五年将投入5000亿,进一步布局新基建,大力发展计算,建设腾讯私有全栈生态是万丈高楼的地基,是腾讯势在必行的目标。...具体的举措包括建设腾讯TStack应用生态、业务生态和技术生态,打造全面的综合解决方案,融入ARM产业结构,积极参与全球“开源”技术社区建设。 ? ?...在此次大会上,腾讯TStack因在ARM生态建设中做出的贡献,获得大会颁发的“ARM产业突出成就奖”这一特殊荣誉。...腾讯TStack一如既往支持开源社区的建设,在新环境新时期新基建继续引领私有行业的发展,积极打造和丰富私有全栈的生态体系,致力为客户提高稳定可靠的服务。 ? 没看过瘾?

91910

腾讯偷袭腾讯

02李鑫眼神.jpg 时间回到九月份的一个下午,坐在工位上的的E.m突然接到一个秘密任务: 干掉腾讯! 行动代号:干掉腾讯  下达这道命令的是Fooying。...Fooying是腾讯安全鼎实验室的成员,负责守卫腾讯的安全。从加入腾讯的那一天起,他和他的团队就枕戈待旦,时时刻刻提防着黑客对腾讯的攻击。...随着腾讯的快速发展,越来越多的企业入驻腾讯,不少黑客也将攻击的目标转移到了上。国内外因为被黑客攻击导致的删库、数据泄露、病毒勒索的公司比比皆是。腾讯云安全的重要性可想而知。...刘钢工位前.JPG Rud是本次红蓝对抗的红军负责人,将迎战蓝军猛烈的攻击,守卫腾讯。 在腾讯,每天都有众多安全人员在巡视、建设腾讯的安全防线。尽管如此,攻防两端终究是一场不均衡的较量。...腾讯的红蓝对抗已经逐步常态化,既是保护自己的方式,也是守护上合作伙伴的重要途径。 腾讯,正在用一场场自我的战斗,磨练出更安全的

113.4K30

腾讯与中化信息达成战略合作,共同助力化工行业建设

近日,中国中化旗下中化信息技术有限公司(下称“中化信息”)与腾讯在第六届数字中国建设峰会上正式签署战略合作协议。...双方未来将充分发挥各自优势,共同助力化工行业建设,探索行业数字化发展新模式,进一步推动化工行业数字化转型升级。 当前,行业已经成为央企数字化转型的重要支撑和发展路径。...在此背景下,以中国中化为代表的化工央企正积极推动化工行业服务平台的建设。此前,由中国中化承建的“化工行业”,于2022年第一批入选了中央企业行业领域公有项目清单。...为了全面支撑化工行业建设,中化信息与腾讯携手,双方将充分发挥腾讯计算、大数据、生态协同等方面的优势,同时依托中化信息在综合性化工数字化领域的专业沉淀,共建化工行业。...针对化工企业“上”和“用”过程中的难题,双方将通过腾讯分布式本地专用集群(Cloud Dedicated Cluster,CDC)技术产品,助力化工行业平台建设

51220

建设一站式DevOps平台,腾讯研发效能提升实践

今天我们特邀了腾讯研发效能工作组负责人、腾讯健康副总裁 张渝老师,他将带大家深入了解腾讯研发效能提升之路,同时也给大家解读未来腾讯研效的发展方向。...此外,腾讯发展多年,一些工具平台年久失修,缺乏维护,且出现了重复建设的情况。对于新员工而言,面对众多平台和工具他们也有些不知所措。因此,我们必须尽快将这些平台纳入统一维护。第三方面是文化宣传。...我们希望在腾讯内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...我们立项时就制定了与腾讯原生的合作标准,与自研业务的原生化并行,一方面是容器化原生搬移,另一方面是研效工作的提升,帮助提高腾讯自研产品的效率和质量。

65320

腾讯发布《数据安全白皮书》, 建设云端数据安全保护标准

近日,腾讯正式发布《腾讯数据安全白皮书》(以下简称白皮书),郑重作出腾讯绝不主动触碰客户数据的承诺,还首次揭晓了腾讯践行云端数据保护承诺的六大基本原则和三大举措,为用户安心用注入强心剂。...1 一个承诺:未经客户授权 绝不主动触碰客户数据 白皮书开篇便郑重承诺,在腾讯,客户对其托管于云端的数据拥有完全的控制权,腾讯绝不主动触碰客户数据。...基于腾讯对用户数据不触碰的承诺,包括顺丰、摩拜单车、富途证券、安心保险在内的众多知名企业选择将业务部署在腾讯上。...,向用户机构、监管机构等公开腾讯最新的服务组织内部控制情况。...腾讯副总裁黎巍表示:“数据安全是用户业务的生命线,腾讯无论怎么重视数据安全都不为过。腾讯希望通过建设云端数据安全保护标准体系,并通过云端科技能力,全力为用户云端数据安全保驾护航。”

3K80

腾讯低代码OTeam建设概述

作者:marsboyding(丁涛)  腾讯IEG高级工程师 低代码OTeam负责人 导语| 近年来,低代码/无代码开发热潮又一次袭来,业界对“降本、增效、提质”的声音越来越强。...国外有西门子Mendix,微软PowerPlatform等大厂的相关低代码产品,国内有阿里的易搭,Ivx,腾讯的微搭等低代码产品,甚至公司内的低代码产品和平台就有数十种以上。...比如腾讯IEG增值服务部的星图低代码平台,最初就是为了游戏营销活动开发而设计的,我们的微信支付、腾讯广告相关的部门也有相关的低代码产品,也都是为了提升各自业务场景下的研发效能而建设的。...图2 UI可视化建设模块描述 逻辑可视化建设 逻辑可视化建设,顾名思义就是对逻辑层的建设。...运营建设 作为OTeam,除了常规的产品研发相关的工作之外,我们还需要做相关的运营建设。包括KM建设、码客平台建设、公司内外宣传分享建设等。 ●近期热文● ?

4.3K60

建设一站式DevOps平台,腾讯研发效能提升实践

今天我们特邀了腾讯研发效能工作组负责人、腾讯健康副总裁 张渝老师,他将带大家深入了解腾讯研发效能提升之路,同时也给大家解读未来腾讯研效的发展方向。...此外,腾讯发展多年,一些工具平台年久失修,缺乏维护,且出现了重复建设的情况。对于新员工而言,面对众多平台和工具他们也有些不知所措。因此,我们必须尽快将这些平台纳入统一维护。 第三方面是文化宣传。...我们希望在腾讯内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...我们立项时就制定了与腾讯原生的合作标准,与自研业务的原生化并行,一方面是容器化原生搬移,另一方面是研效工作的提升,帮助提高腾讯自研产品的效率和质量。

63870

建设一站式DevOps平台,腾讯研发效能提升实践

今天我们特邀了腾讯研发效能工作组负责人、腾讯健康副总裁 张渝老师,他将带大家深入了解腾讯研发效能提升之路,同时也给大家解读未来腾讯研效的发展方向。...此外,腾讯发展多年,一些工具平台年久失修,缺乏维护,且出现了重复建设的情况。对于新员工而言,面对众多平台和工具他们也有些不知所措。因此,我们必须尽快将这些平台纳入统一维护。 第三方面是文化宣传。...我们希望在腾讯内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...我们立项时就制定了与腾讯原生的合作标准,与自研业务的原生化并行,一方面是容器化原生搬移,另一方面是研效工作的提升,帮助提高腾讯自研产品的效率和质量。

87230

主机安全容灾建设

(2)被植入僵尸网络agent,发起对外攻击,被自身平台发现封禁。 (3)流量异常被运营商封禁。...服务于 CIA全过程 五.主机安全容灾解决方案 1.第一步:快照备份,全盘快照 (1)创建上定期快照:https://cloud.tencent.com/document/product/362/...2.第二步:上防御,选择混合架构勒索防御安全产品 (1)腾讯 腾讯主机安全混合解决方案:https://v2.s.tencent.com/activity/news/70 image.png (...2)阿里 阿里防勒索解决方案:https://cn.aliyun.com/solution/security/bvp image.png image.png (3)华为 华为主机安全HSS防勒索最佳实践...https://support.huaweicloud.com/bestpractice-hss/hss_06_0010.html image.png 3.第三步:终端防御,按需配置终端安全产品 (1)腾讯御点

2.5K92

直播类业务建设

视频是一个使直播类业务,更具发展空间的战略方向。而视频平台在进行建设之前,已经成长为一个成熟的复杂巨系统。接下来可以看一下这个巨系统上,我们将会面临的挑战。...而且直播平台建设中,突出的风险是灰度过程,所以直播平台需先规划并建设全球跨运营方案。然后依此方案,解决在灰度过程中的质量控制与调度需求。...此处通过多种方式提升外网通信条件下的通信质量: 双capip(腾讯自有Ip):打通支撑-自研通路,通过此配置方案,腾讯机房与自研机房间,可由腾讯专线进行流量交互,避免形成外网穿越。...海外统一存储方案 视频当前的海外节点正在持续建设,服务规模还在发展中,考虑到COS为腾讯基础能力,设备投放量大,基础成本起点高,当前按存储量进行规划后,以新加坡为统一COS存储落地点...腾讯Iaas – 基础资源 基于腾讯提供的基础资源能力,视频可以选择不同能力的组件完成架构工作。

3.5K00

夯实安全“三大体系”建设腾讯打造安全可靠的上高速公路

凭借上基础设施建设的不断夯实以及业界领先的信息安全实力,腾讯已成为最值得信赖的计算服务商之一。2019年,腾讯在前三季度已实现收入超100亿里程碑,并保持行业第一的增长速度。...一方面持续加大基础设施建设,业界率先实现“全网服务器总量超过100万台,带宽峰值突破100T”的双百里程碑,提升平台的容灾能力,保障服务的连贯性;另一方面,腾讯上租户安全构建了业务安全“护城河...作为最值得信赖的计算服务商之一,腾讯非常注重在基础设施建设及信息安全方面的投入,并取得了业界领先的优势。 具备运营大规模基础设施的经验和能力,是计算服务的核心竞争力之一。...作为全球最大的互联网科技公司之一,腾讯在过去20余年的发展中,面临着各种复杂安全挑战,这倒逼腾讯在信息安全建设方面的持续投入。...同时,腾讯超过3500名的安全专家和技术人员共同投入到腾讯的安全建设当中,为服务提供全面防护。

98940
领券